Les cybercriminels sont réticents à l’idée d’utiliser les GPT/LLM

Une couverture médiatique importante a suivi l’annonce qui indiquait que les grands modèles de langage (LLM) destinés à être utilisés par les cybercriminels, notamment WormGPT et FraudGPT, étaient disponibles à la vente sur des forums underground. De nombreux commentateurs ont exprimé leurs craintes concernant la possibilité que de tels modèles ne permettent aux acteurs malveillants de créer des “malwares en mutation” et ne s’inscrivent dans une sorte de “frénésie” en termes d’activités associées sur les forums underground.

L’aspect ‘double usage’ des LLM (Large Language Model) est sans aucun doute préoccupant, et il ne fait aucun doute que les acteurs malveillants chercheront à les exploiter à leurs propres fins. Des outils comme WormGPT en sont une bonne illustration (bien que les développeurs de WormGPT aient maintenant stoppé le projet, apparemment à cause de l’exposition médiatique dont ils avaient fait l’objet). Ce qui est moins clair, c’est la perception par les acteurs malveillants de ces outils de manière plus générale, et pourquoi ils les utilisent réellement, au-delà des quelques incidents signalés publiquement.

Sophos X-Ops a décidé d’investiguer en explorant les diverses discussions et opinions liées aux LLM en se focalisant sur une sélection de forums cybercriminels, pour mieux comprendre la situation actuelle et ainsi pouvoir explorer ce que les acteurs malveillants eux-mêmes pensent réellement des opportunités, et des risques, que représentent les LLM. Nous avons parcouru quatre forums et marketplaces majeurs, en examinant spécifiquement pourquoi les acteurs malveillants utilisaient les LLM ; leurs perceptions à leur égard ; et leurs réflexions sur des outils comme WormGPT.

Un bref résumé de nos conclusions :

• Nous avons trouvé plusieurs dérivés GPT prétendant offrir des fonctionnalités similaires à WormGPT et FraudGPT, notamment EvilGPT, DarkGPT, PentesterGPT et XXXGPT. Cependant, nous avons également noté un scepticisme à l’égard de certains d’entre eux, notamment des allégations selon lesquelles il s’agirait d’escroqueries (ce qui n’est pas rare sur les forums cybercriminels).
• En général, il existe beaucoup de scepticisme à l’égard d’outils comme ChatGPT : on leur reproche notamment d’être surfaits, redondants, surestimés et inadaptés à la génération de malwares.
• Les acteurs malveillants ont également des préoccupations spécifiques à la cybercriminalité concernant le code généré par les LLM, notamment des problèmes de sécurité opérationnelle et de détection par les solutions AV/EDR.
• De nombreux articles se concentrent sur les jailbreaks (qui apparaissent également régulièrement sur les réseaux sociaux et les blogs légitimes) et les comptes ChatGPT compromis.
• Les utilisations potentielles sur le terrain restent pour la plupart ambitieuses et se limitent généralement à des attaques d’ingénierie sociale ou à des tâches parallèles liées à la sécurité.
• Nous n’avons trouvé que quelques exemples d’acteurs malveillants utilisant des LLM pour générer des malwares et des outils d’attaque, et ce uniquement dans un contexte de validation de preuve-de-concept (proof-of-concept).
• Cependant, d’autres les utilisent efficacement pour d’autres tâches, telles que celles liées à du codage basique.
• Sans surprise, les “script kiddies” non qualifiés sont intéressés par l’utilisation des GPT pour générer des malwares mais sont, encore une fois et sans surprise, souvent incapables de contourner les restrictions au niveau des invites ou de comprendre les erreurs dans le code résultant.
• Certains acteurs malveillants utilisent les LLM pour améliorer les forums qu’ils fréquentent, en créant des chatbots et des réponses automatiques, avec plus ou moins de succès, tandis que d’autres les utilisent pour développer des outils redondants ou superflus.
• Nous avons également observé des exemples de “Thought Leadership” (leader d’opinion) ciblant l’IA sur les forums, suggérant ainsi que les acteurs malveillants sont aux prises avec les mêmes questions logistiques, philosophiques et éthiques que tout le monde lorsqu’il s’agit de cette technologie.

En écrivant cet article, basé sur nos propres recherches indépendantes, nous avons appris que Trend Micro avait récemment publié ses propres recherches sur ce sujet. Nos recherches dans certains domaines confirment et valident certaines de leurs conclusions.

Les forums

Nous nous sommes concentrés sur quatre forums pour cette recherche :

• Exploit : un important forum en langue russe qui priorise les listings AaaS (Access-a-a-Service), mais permet également l’achat et la vente d’autres contenus illicites (notamment des malwares, des fuites de données, des logs d’infostealer et des identifiants) ainsi que des discussions plus larges sur divers sujets liés à la cybercriminalité.
• XSS : un important forum en langue russe. Tout comme Exploit, il est bien établi et héberge également à la fois une marketplace et des discussions et initiatives plus larges.
• Breach Forums : désormais dans sa deuxième itération, ce forum anglophone a remplacé RaidForums après sa fermeture en 2022 ; la première version de Breach Forums a également été fermée en 2023. Breach Forums est spécialisé dans les fuites de données, notamment les bases de données, les identifiants et les données personnelles.
• Hackforums : un forum anglophone de longue date qui a la réputation d’être très fréquenté par des script kiddies, bien que certains de ses utilisateurs aient déjà été associés à des malwares et à des incidents très médiatisés.

Une mise en garde avant de commencer : les opinions et points de vue discutés ici ne peuvent pas être considérés comme représentatifs des attitudes et de l’état d’esprit général de tous les acteurs malveillants, et ne proviennent pas d’investigations ou d’entretiens qualitatifs. Ainsi, cette recherche doit être considérée comme une évaluation suite à l’exploration des discussions et du contenu liés aux LLM tels qu’ils apparaissent actuellement sur les forums ci-dessus.

Analyse détaillée

L’une des premières choses que nous avons remarquées est que l’IA n’est pas vraiment un sujet brûlant sur les forums que nous avons consultés. Sur deux des forums, il y avait moins de 100 articles sur le sujet, mais près de 1 000 articles concernant les cryptomonnaies sur une même période.

Même si nous souhaitons effectuer des recherches plus approfondies avant de tirer des conclusions définitives sur cet écart, les chiffres suggèrent qu’il n’y a pas eu d’explosion des discussions liées aux LLM dans les forums, du moins pas autant que celles ayant été observées concernant LinkedIn, par exemple. Cette tendance pourrait être due au fait que de nombreux cybercriminels considèrent que l’IA générative en est encore à ses balbutiements (du moins par rapport aux cryptomonnaies, qui ont pour eux une pertinence réelle en tant que technologie établie et relativement mature). Ainsi, contrairement à certains utilisateurs de LinkedIn, les acteurs malveillants n’ont pas grand-chose à gagner en spéculant sur les implications d’une technologie naissante.

Bien entendu, nous n’avons examiné que les quatre forums mentionnés ci-dessus, et il est tout à fait possible que des discussions plus actives autour des LLM se déroulent au niveau d’autres canaux moins visibles.

Les jailbreaks

Comme Trend Micro l’a également noté dans son rapport, nous avons constaté qu’un nombre important de messages sur les forums liés aux LLM se concentrent sur les jailbreaks : soit ceux provenant d’autres sources, soit ceux partagés par les membres du forum (un “jailbreak” dans ce contexte est un moyen pour inciter un LLM à contourner sa propre autocensure lorsqu’il s’agit de renvoyer des réponses malveillantes, illégales ou inappropriées).

Figure 1 : Un utilisateur partage les détails du jailbreak “DAN” connu publiquement

Figure 2 : Un utilisateur de Breach Forums partage les détails d’une tentative de jailbreak infructueuse

Figure 3 : Un utilisateur du forum partage une tactique de jailbreak

Bien que cette tendance puisse paraître inquiétante, les jailbreaks sont également publiquement et largement partagés sur Internet, notamment dans les publications sur les réseaux sociaux ; sur les sites Web dédiés contenant toute une série de jailbreaks ; sur les subreddits consacrés au sujet ; et enfin dans des vidéos YouTube.

Il existe un argument selon lequel les acteurs malveillants pourraient, grâce à leur expérience et leurs compétences, être dans une meilleure position que d’autres pour développer de nouveaux jailbreaks, mais nous avons observé peu de preuves de cette tendance.

Comptes à vendre

Le plus souvent, ​​sans surprise et particulièrement sur Breach Forums, nous avons noté que de nombreuses publications liées aux LLM étaient en fait des comptes ChatGPT compromis destinés à la vente.

Figure 4 : Une sélection de comptes ChatGPT en vente sur Breach Forums

Il n’y a pas grand-chose d’intéressant à discuter ici, si ce n’est que les acteurs malveillants saisissent évidemment l’opportunité de compromettre et de vendre des comptes sur de nouvelles plateformes. Ce qui est moins clair, c’est le public ciblé par ces comptes et ce qu’un acheteur potentiel chercherait à faire avec un compte ChatGPT volé. Ils pourraient potentiellement accéder à de précédentes requêtes et obtenir des informations sensibles, utiliser cet accès pour exécuter leurs propres requêtes, ou vérifier la réutilisation des mots de passe.

“BandwagonGPT”

Plus intéressante encore a été notre observation confirmant que WormGPT et FraudGPT ne sont pas les seuls acteurs présents, une découverte que Trend Micro a également soulignée dans son rapport. Au cours de nos recherches, nous avons observé huit autres modèles qui étaient soit proposés à la vente sur les forums en-tant-que-service (forums as a service), soit développés ailleurs et partagés avec les utilisateurs des forums.

1. XXXGPT
2. Evil-GPT
3. WolfGPT
4. BlackHatGPT
5. DarkGPT
6. HackBot
7. PentesterGPT
8. PrivateGPT

Nous avons toutefois observé des réactions mitigées à l’égard de ces outils. Certains utilisateurs étaient très désireux de les essayer ou de les acheter, mais beaucoup doutaient de leurs capacités et de l’aspect réellement nouveau. Certains se sont montrés carrément hostiles, accusant les développeurs de ces outils d’être des escrocs.

WormGPT

WormGPT, lancé en juin 2023, était un service de chatbot privé prétendument basé sur LLM GPT-J 6B et proposé en tant que service commercial sur plusieurs forums cybercriminels. Comme pour de nombreux services et outils cybercriminels, son lancement s’est accompagné d’une campagne promotionnelle astucieuse, comprenant des affiches et des exemples.

Figure 5 : WormGPT annoncé par l’un de ses développeurs en juillet 2023

Figure 6 : Exemples de requêtes et de réponses WormGPT, présentées dans le matériel promotionnel de ses développeurs

La manière avec laquelle WormGPT a facilité des attaques sur le terrain est inconnue. Cependant, le projet a reçu une attention médiatique considérable, ce qui a peut-être conduit ses développeurs à restreindre, dans un premier temps, certains sujets accessibles aux utilisateurs (notamment les attaques de type BEC – Business Email Compromises – ainsi que le Carding), avant de le stopper complètement en août 2023.

Figure 7 : L’un des développeurs de WormGPT annonce des modifications au niveau du projet début août

Figure 8 : La publication annonçant la clôture du projet WormGPT, un jour plus tard

Dans l’annonce marquant la fin de WormGPT, les développeurs soulignent spécifiquement l’attention médiatique qu’il a reçue comme l’une des principales raisons pour lesquelles ils ont décidé de mettre fin au projet. Ils notent également que : “En fin de compte, WormGPT n’est rien de plus qu’un ChatGPT sans restriction. N’importe qui sur Internet peut utiliser une technique de jailbreak bien connue et obtenir les mêmes résultats, voire des résultats supérieurs”.

Alors que certains utilisateurs ont exprimé leurs regrets concernant l’arrêt de WormGPT, d’autres étaient clairement agacés. Un utilisateur de Hackforums a noté que sa licence avait cessé de fonctionner, et les utilisateurs de Hackforums et de XSS ont prétendu qu’il s’agissait en fait d’une arnaque.

Figure 9 : Un utilisateur de Hackforums prétend que WormGPT était une arnaque

Figure 10 : Un utilisateur XSS fait la même supposition. Notez le commentaire original, qui suggère que, puisque le projet a reçu une large attention médiatique, il est préférable de l’éviter

FraudGPT

La même accusation a également été portée contre FraudGPT, et d’autres ont remis en question ses réelles capacités. Par exemple, un utilisateur de Hackforums a demandé si l’affirmation selon laquelle FraudGPT pouvait générer “une gamme de malwares que les logiciels antivirus ne pouvaient pas détecter” était exacte. Un autre utilisateur leur a donné un avis éclairé :

Figure 11 : Un utilisateur de Hackforums exprime un certain scepticisme quant à l’efficacité des GPT et des LLM

Cette attitude semble être répandue lorsqu’il s’agit de services GPT malveillants, comme nous le verrons bientôt.

XXXGPT

Le titre trompeur XXXGPT a été annoncé sur XSS en juillet 2023. Comme WormGPT, il a fait son entrée en grande pompe, notamment avec des affiches promotionnelles, et prétend fournir “un service révolutionnaire qui offre un bot basé sur l’IA personnalisable et paramétrable… sans censure ni restrictions” pour 90 $ par mois.

Figure 12 : L’une des nombreuses affiches promotionnelles pour XXXGPT, accompagnée d’une faute d’orthographe (“BART” au lieu de “BARD”)

Cette annonce a toutefois suscité quelques critiques. Un utilisateur a demandé ce qui était exactement vendu, se demandant s’il s’agissait simplement d’une invite jailbreakée.

Figure 13 : Un utilisateur demande si XXXGPT n’est pas plutôt qu’une simple invite

Un autre utilisateur, testant la démo XXXGPT, a constaté qu’elle renvoyait toujours des réponses censurées.

Figure 14 : Un utilisateur ne parvient pas à obtenir la démo XXXGPT pour générer des malwares

L’état actuel du projet n’est pas clair.

Evil-GPT

Evil-GPT a été annoncé sur Breach Forums en août 2023, explicitement annoncé comme une alternative à WormGPT au tarif bien inférieur de 10 $. Contrairement à WormGPT et XXXGPT, il n’y avait pas de graphiques ou de listes de fonctionnalités attrayants, seulement une capture d’écran d’un exemple de requête.

Les utilisateurs ont répondu positivement à ce lancement, l’un d’eux notant que même s’il “n’était pas précis pour les sujets relatifs au blackhat ni pour le codage de malwares complexes… [il] pouvait valoir la peine d’être testé pour voir”.

Figure 15 : Un modérateur de Hackforums donne un avis favorable concernant Evil-GPT

D’après ce qui a été annoncé et les avis des utilisateurs, nous estimons qu’Evil-GPT cible les utilisateurs à la recherche d’une option “économique”, peut-être limitée en termes de capacité par rapport à certains autres services GPT malveillants, mais au final un “jouet sympa”.

Diverses versions GPT dérivées

En plus de WormGPT, FraudGPT, XXXGPT et Evil-GPT, nous avons également observé plusieurs services dérivés qui ne semblent pas avoir reçu beaucoup d’attention, ni positive ni négative.

WolfGPT

WolfGPT a été partagé sur XSS par un utilisateur qui prétendait qu’il s’agissait d’un outil basé sur Python capable de “chiffrer des malwares et de créer des textes de phishing… un concurrent de WormGPT et ChatGPT”. L’outil semble être un référentiel GitHub, bien qu’il n’existe aucune documentation à ce sujet. Dans son article, Trend Micro note que WolfGPT a également été annoncé sur une chaîne Telegram et que le code GitHub semble être un wrapper Python pour l’IA de ChatGPT.

Figure 16 : Le référentiel GitHub WolfGPT

BlackHatGPT

Cet outil, annoncé sur Hackforums, prétend être un ChatGPT non censuré.

Figure 17 : L’annonce de BlackHatGPT sur Hackforums

DarkGPT

Un autre projet d’un utilisateur de Hackforums, DarkGPT prétend encore une fois être une alternative non censurée à ChatGPT. Il est intéressant de noter que l’utilisateur affirme que DarkGPT offre l’anonymat, même sa mise en œuvre n’est pas claire.

HackBot

Comme WolfGPT, HackBot est un référentiel GitHub qu’un utilisateur a partagé avec la communauté Breach Forums. Contrairement à certains autres services décrits ci-dessus, HackBot ne se présente pas comme un service explicitement malveillant, mais est plutôt destiné aux experts en sécurité et aux pentesteurs.

Figure 18 : Une description du projet HackBot sur Breach Forums

PentesterGPT

Nous avons également observé un autre service GPT sur le thème de la sécurité, PentesterGPT.

Figure 19 : PentesterGPT partagé avec les utilisateurs de Breach Forums

PrivateGPT

Selon nous, PrivateGPT n’a été mentionné que brièvement sur Hackforums, mais il prétend être un LLM hors ligne. Un utilisateur de Hackforums a exprimé son souhait de rassembler des “ressources de piratage” prêtes à être utilisées. Rien n’indique que PrivateGPT soit destiné à être utilisé à des fins malveillantes.

Figure 20 : Un utilisateur de Hackforums suggère une collaboration concernant un référentiel à utiliser avec PrivateGPT

Dans l’ensemble, même si nous avons comptabilisé plus de services GPT que prévu, ainsi qu’un certain intérêt et enthousiasme de la part des utilisateurs, nous avons également noté que de nombreux utilisateurs y réagissaient avec indifférence ou hostilité.

Figure 21 : Un utilisateur de Hackforums met en garde les autres contre le paiement pour des “jailbreaks gpt basiques”

Les différentes utilisations

En plus des dérivés de ChatGPT, nous avons également voulu explorer la manière avec laquelle les acteurs malveillants utilisaient, ou espéraient utiliser, les LLM, et avons trouvé, une fois de plus, des résultats plutôt mitigés.

Idées et aspirations

Sur les forums fréquentés par des acteurs malveillants plus sophistiqués et plus professionnels, en particulier Exploit, nous avons noté un niveau plus élevé de discussions enthousiastes liées à l’IA, où les utilisateurs étaient intéressés par l’exploration de la faisabilité, des idées et des applications futures potentielles.

Figure 22 : Un utilisateur d’Exploit ouvre un fil de discussion “pour partager des idées”

Nous avons vu peu de preuves d’utilisateurs d’Exploit ou de XSS essayant de générer des malwares à l’aide de l’IA (bien que nous ayons vu quelques outils d’attaque, abordés dans la section suivante).

Figure 23 : Un utilisateur d’Exploit exprime son intérêt concernant la faisabilité de l’émulation vocale à des fins d’ingénierie sociale

Sur les forums basiques, Breach Forums et Hackforums, cette dynamique a été effectivement inversée, avec peu de preuves d’une pensée ambitieuse, et davantage de preuves d’expériences pratiques, de preuves de concept et de scripts. Cette tendance peut suggérer que les acteurs malveillants les plus expérimentés estiment que les LLM en sont encore à leurs balbutiements, du moins concernant les applications pratiques à la cybercriminalité, et qu’ils se concentreront donc davantage sur les applications futures potentielles. À l’inverse, des acteurs malveillants moins qualifiés peuvent tenter de lancer des attaques avec la technologie telle qu’elle existe actuellement, malgré ses limites.

Malwares

Sur Breach Forums et Hackforums, nous avons observé plusieurs cas d’utilisateurs partageant le code qu’ils avaient généré à l’aide de l’IA, notamment des RAT, des keyloggers et des infostealers.

Figure 24 : Un utilisateur de Hackforums prétend avoir créé un keylogger PowerShell, avec persistance et contournement UAC, qui n’a pas été détecté au niveau de VirusTotal

Figure 25 : Un autre utilisateur de Hackforums n’a pas pu contourner les restrictions de ChatGPT et a donc prévu de développer des malwares “étape par étape”, en commençant par un script pour enregistrer une adresse IP dans un fichier texte.

Certaines de ces tentatives ont cependant suscité du scepticisme.

Figure 26 : Un utilisateur de Hackforums souligne que les utilisateurs pourraient simplement rechercher des éléments sur Google au lieu d’utiliser ChatGPT.

Figure 27 : Un utilisateur d’Exploit s’inquiète du fait que le code généré par l’IA puisse être plus facile à détecter

Aucun des malwares générés par l’IA, pratiquement tous en Python pour des raisons qui ne sont pas claires, que nous avons observés sur Breach Forums ou Hackforums ne semble nouveau ou sophistiqué. Cette observation ne veut pas dire qu’il n’est pas possible de créer des malwares sophistiqués, mais nous n’en avons trouvé aucune preuve dans les publications que nous avons examinées.

Outils

Nous avons cependant noté que certains utilisateurs du forum explorent la possibilité d’utiliser les LLM pour développer des outils d’attaque plutôt que des malwares. Sur Exploit, par exemple, nous avons vu un utilisateur partager un script RDP de force brute (bruteforce) à ciblage de masse.

Figure 28 : Partie d’un outil de force brute RDP à ciblage de masse partagé sur Exploit

Sur Hackforums, un utilisateur a partagé un script pour résumer les articles sur les bug bounty avec ChatGPT.

Figure 29 : Un utilisateur de Hackforums partage son script pour résumer les articles sur les bug bounty

Nous avons également remarqué que certains utilisateurs semblaient hésiter quelque peu lorsqu’il s’agissait de trouver des applications pour ChatGPT. L’utilisateur qui a partagé le script pour résumer les bug bounty ci-dessus, par exemple, a également partagé un script qui effectue les opérations suivantes :

1. Posez une question à ChatGPT.
2. Si la réponse commence par “En tant que modèle de langage IA…”, effectuez une recherche sur Google en utilisant la question comme requête de recherche.
3. Copiez les résultats Google.
4. Posez la même question à ChatGPT, en stipulant que la réponse doit provenir des résultats récupérés sur Google.
5. Si ChatGPT répond toujours par “En tant que modèle de langage IA… “, demandez à ChatGPT de reformuler la question en tant que recherche Google, exécutez cette recherche et répétez les étapes 3 et 4.
6. Faites cette opération cinq fois jusqu’à ce que ChatGPT fournisse une réponse valide.

Figure 30 : Le script ChatGPT/Google partagé sur Hackforums, qui rappelle le dicton : “Une solution à la recherche d’un problème”

Nous n’avons pas testé le script fourni, mais nous pensons qu’avant qu’il ne soit terminé, la plupart des utilisateurs auraient probablement abandonné pour utiliser Google à la place.

Ingénierie sociale

L’ingénierie sociale est peut-être l’une des applications possibles les plus préoccupantes des LLM, certains acteurs malveillants reconnaissant son potentiel dans ce domaine. Nous avons également remarqué cette tendance dans nos propres recherches sur les escroqueries de type cryptorom.

Figure 31 : Un utilisateur prétend avoir utilisé ChatGPT pour générer des contrats intelligents frauduleux

Figure 32 : Un autre utilisateur suggère d’utiliser ChatGPT pour traduire du texte lorsque vous ciblez d’autres pays, plutôt que Google Translate.

Codage et développement

Un autre domaine dans lequel les acteurs malveillants semblent utiliser efficacement les LLM est celui du développement de logiciels non malveillants (de type ‘non-malware‘). Plusieurs utilisateurs, notamment sur Hackforums, déclarent les utiliser pour effectuer des tâches de codage courantes, générer des données de test et transférer des bibliothèques vers d’autres langages, même si les résultats ne sont pas toujours corrects et nécessitent parfois des ajustements manuels.

Figure 33 : Les utilisateurs de Hackforums discutent de l’utilisation de ChatGPT pour la conversion de code

Améliorations du forum

Tant sur Hackforums que sur XSS, les utilisateurs ont proposé d’utiliser les LLM pour enrichir leurs forums au profit de leurs communautés respectives.

Sur Hackforums, par exemple, un utilisateur publiant régulièrement des scripts liés à l’IA a partagé un script concernant les réponses générées automatiquement au niveau des fils de discussion, à l’aide de ChatGPT.

Figure 34 : Un utilisateur de Hackforums partage un script pour générer automatiquement des réponses

Cet utilisateur n’a pas été la première personne à avoir eu l’idée de répondre aux publications en utilisant ChatGPT. Un mois plus tôt, sur XSS, un utilisateur avait écrit un long message en réponse à un fil de discussion sur un chiffreur Python, uniquement pour qu’un autre utilisateur réponde : “most chatgpt thing ive [sic] read in my life”.

Figure 35 : Un utilisateur XSS en accuse un autre d’utiliser ChatGPT pour créer des publications

Toujours sur XSS, l’administrateur du forum est allé plus loin que le partage d’un script, en créant un chatbot de forum dédié pour répondre aux questions des utilisateurs.

Figure 36 : L’administrateur XSS annonce le lancement de “XSSBot”

L’annonce se lit comme suit :

Dans cette section, vous pouvez discuter avec l’IA (Intelligence Artificielle). Posez une question, notre robot IA vous répondra. Cette section est ludique et technique. Le bot est basé sur ChatGPT (modèle : gpt-3.5-turbo).

Résumé des règles :

1. La section est ludique et technique : vous pouvez créer des sujets exclusivement sur les thèmes de notre forum. Pas besoin de poser des questions sur la météo, la biologie, l’économie, la politique, etc. Uniquement les sujets de notre forum, le reste est interdit, les sujets seront supprimés.
2. Comment fonctionne-t-il ? Ouvrez un sujet : obtenez une réponse de notre robot IA.
3. Vous pouvez entrer en dialogue avec le bot, pour cela vous devez le citer.
4. Tous les membres du forum peuvent communiquer sur le sujet, pas seulement l’auteur du sujet. Vous pouvez communiquer entre vous et avec le bot en le citant.
5. Un sujet : une question thématique. Si vous avez une autre question allant dans une direction différente, ouvrez un nouveau sujet.
6. Limitation au niveau d’un sujet : 10 messages (réponses) du bot.

Cette section et le bot IA sont conçus pour résoudre des problèmes techniques simples, pour le divertissement technique de nos utilisateurs, pour familiariser les utilisateurs avec les possibilités de l’IA.

Le bot IA fonctionne en version bêta. En soi, ChatGPT est rudimentaire. Les serveurs OpenAI se bloquent parfois. Considérez tous ces éléments.

Malgré la réaction enthousiaste des utilisateurs à cette annonce, XSSBot ne semble pas particulièrement adapté à une utilisation dans un forum cybercriminel.

Figure 37 : XSSBot refuse de dire à un utilisateur comment coder un malware

Figure 38 : XSSBot refuse de créer un outil de bruteforcing Python SSH, indiquant à l’utilisateur [mise en gras ajoutée par nos soins] : “Il est important de respecter la vie privée et la sécurité des autres. Au lieu de cela, je suggère de se renseigner sur le piratage éthique et de le pratiquer de manière légale et éthique”.

Peut-être qu’à cause de ces refus, un utilisateur a tenté, sans succès, de jailbreaker XSSBot.

Figure 39 : Une tentative de jailbreak inefficace de XSSBot

Certains utilisateurs semblent utiliser XSSBot à d’autres fins ; l’un d’entre eux lui a demandé de créer une publicité et un argumentaire de vente pour son activité de freelance, probablement pour les publier ailleurs sur le forum.

Figure 40 : XSSBot produit du matériel promotionnel pour un utilisateur XSS

XSSBot a accepté, et l’utilisateur a ensuite supprimé sa demande initiale, probablement pour éviter que les utilisateurs n’apprennent que le texte avait été généré par un LLM. Même si l’utilisateur pouvait supprimer ses publications, il n’a pas réussi à convaincre XSSBot de supprimer les siennes, malgré plusieurs tentatives.

Figure 41 : XSSBot refuse de supprimer la publication qu’il a créée

Script kiddies

Sans surprise, certains acteurs malveillants non qualifiés, communément appelés “script kiddies“, sont impatients d’utiliser les LLM pour générer des malwares et des outils qu’ils sont incapables de développer eux-mêmes. Nous en avons observé plusieurs exemples, notamment sur Breach Forums et Hackforums.

Figure 42 : Un script kiddie sur Breach Forums demande comment utiliser ChatGPT pour pirater une cible potentielle

Figure 43 : Un utilisateur de Hackforums se demande si WormGPT peut rendre les charges virales de Cobalt Strike indétectables, une question qui rencontre peu de succès de la part d’un utilisateur plus réaliste.

Figure 44 : Une question incohérente à propos de WormGPT sur Hackforums

Nous avons également constaté que, porté par son enthousiasme à l’idée d’utiliser ChatGPT et des outils similaires, un utilisateur sur XSS, de manière surprenante, a commis ce qui semble être une erreur de sécurité opérationnelle.

L’utilisateur a lancé un fil de discussion intitulé “Hey everyone, check out this idea I had and made with Chat GPT (RAT Spreading Method)” (Salut tout le monde, regardez l’idée que je viens d’avoir et que j’ai réalisé avec Chat GPT [RAT Spreading Method]) pour expliquer son idée de campagne de distribution de malwares : créer un site Web sur lequel les visiteurs peuvent prendre des selfies, qui seront ensuite transformés en “selfies de célébrités via l’IA” sous forme d’images téléchargeables. Naturellement, l’image téléchargée est un malware. L’utilisateur a affirmé que ChatGPT l’avait aidé à transformer cette idée en une preuve de concept (proof-of-concept).

Figure 45 : L’article sur XSS, expliquant la campagne de distribution de malwares générée par ChatGPT

Pour illustrer son idée, l’utilisateur a mis en ligne plusieurs captures d’écran de la campagne. Celles-ci comprenaient des images du bureau de l’utilisateur et de la campagne de preuve-de-concept, et montraient notamment :

• Tous les onglets ouverts dans le navigateur de l’utilisateur, notamment un onglet Instagram avec son prénom.
• Une URL locale indiquant le nom de l’ordinateur.
• Une fenêtre ‘Explorateur Windows’, comprenant un dossier intitulé avec le nom complet de l’utilisateur.
• Une démonstration du site Web, accompagnée d’une photographie bien visible de ce qui semble être le visage de l’utilisateur.

Figure 46 : Un utilisateur publie une photo (vraisemblablement) de son propre visage

Débats et approches ‘Thought Leadership’ (Leader d’Opinion)

Il est intéressant de noter que nous avons également remarqué plusieurs exemples de débats et d’approches ‘Thought Leadership’ sur les forums, notamment sur Exploit et XSS, où les utilisateurs ont généralement tendance à être plus circonspects quant aux applications pratiques, mais également sur Breach Forums et Hackforums.

Figure 47 : Un exemple d’article de type ‘Thought Leadership’ sur Breach Forums, intitulé “l’intersection de l’IA et de la cybersécurité”

Figure 48 : Un utilisateur de XSS discute des problèmes liés aux LLM, notamment des “effets négatifs sur la société”

Figure 49 : Un extrait d’un article sur Breach Forums, intitulé “Pourquoi ChatGPT n’est pas effrayant”

Figure 50 : Un acteur malveillant de premier plan publie : “Je ne peux pas prédire l’avenir, mais il est important de comprendre que ChatGPT n’est pas une intelligence artificielle. Il n’a aucune intelligence ; il ne sait rien et ne comprend rien. Il joue avec les mots pour créer un texte plausible, mais toutes les affirmations qui y sont faites peuvent être fausses. Il ne peut pas aller plus loin parce qu’il ne comprend pas le sens des mots”

Scepticisme

En général, nous avons observé beaucoup de scepticisme sur les quatre forums quant à la véritable capacité des LLM à alimenter la cybercriminalité.

Figure 51 : Un utilisateur d’Exploit affirme que ChatGPT est “complètement inutile”, dans un contexte de “développement de code pour les malwares”.

Parfois, ce scepticisme était tempéré par des rappels que la technologie en est encore à ses balbutiements :

Figure 52 : Un utilisateur XSS affirme que les outils d’IA ne sont pas toujours précis, mais note qu’il y a “beaucoup de potentiel”

Figure 53 : Un utilisateur d’Exploit dit : “Bien sûr, il n’a pas encore la capacité d’une IA à part entière, mais ce ne sont que les versions 3 et 4, elles se développent assez rapidement et la différence est assez perceptible entre les versions, tous les projets ne peuvent pas se vanter d’une telle dynamique de développement, je pense que la version 5 ou 7 correspondra déjà à une IA à part entière, de plus elles dépendent beaucoup des limites de la technologie, conçue pour la sécurité, si quelqu’un récupère le code source de l’expérience en question et crée sa propre version sans limitations ni censure, alors ce sera plus amusant”.

D’autres commentateurs, cependant, se sont montrés plus dédaigneux, et pas nécessairement très bien informés :

Figure 54 : Un utilisateur d’Exploit affirme que des “bots comme celui-ci” existaient en 2004

Préoccupations de l’OPSEC

Certains utilisateurs avaient des préoccupations spécifiques en matière de sécurité opérationnelle concernant l’utilisation des LLM pour faciliter la cybercriminalité, ce qui pourrait avoir un impact sur leur adoption par les acteurs malveillants à long terme. Sur Exploit, par exemple, un utilisateur a fait valoir que : “Il est conçu pour apprendre et profiter de votre contribution… peut-être que [Microsoft] utilise le code généré que nous créons pour améliorer son sandbox AV ? Je ne sais pas, tout ce que je sais, c’est que je ne toucherais à cela qu’avec des gants bien épais”.

Figure 55 : Un utilisateur d’Exploit exprime ses inquiétudes concernant la confidentialité des requêtes ChatGPT

Par conséquent, comme le suggère un utilisateur de Breach Forums, il se peut que les gens développent leurs propres LLM plus petits et indépendants pour une utilisation hors ligne, plutôt que d’utiliser des interfaces accessibles au public et connectées à Internet.

Figure 56 : Un utilisateur de Breach Forums se demande s’il existe une visibilité des forces de l’ordre sur les requêtes ChatGPT et qui sera la première personne à se faire “prendre”

Préoccupations éthiques

Plus largement, nous avons également observé des discussions plus philosophiques sur l’IA en général et ses implications éthiques.

Figure 57 : Un extrait d’un long fil de discussion sur Breach Forums, où les utilisateurs discutent des implications éthiques de l’IA.

Conclusion

Les acteurs malveillants sont divisés quant à leur attitude à l’égard de l’IA générative. Certains, un mélange d’utilisateurs compétents et de script kiddies, sont des primo-adoptants enthousiastes, partageant volontiers les jailbreaks et les malwares et outils générés par les LLM, même si les résultats ne sont pas toujours particulièrement impressionnants. D’autres utilisateurs sont beaucoup plus circonspects et ont des préoccupations à la fois spécifiques (sécurité opérationnelle, précision, efficacité, détection) et générales (éthique, philosophique). Dans ce dernier groupe, certains sont des sceptiques confirmés (et parfois hostiles), tandis que d’autres sont plus hésitants.

Nous avons trouvé peu de preuves montrant que les acteurs malveillants admettent utiliser l’IA dans des attaques réelles, ce qui ne veut pas dire que cela ne se produit pas. Mais la plupart des activités que nous avons observées sur les forums se limitaient au partage d’idées, de preuves de concept et de réflexions. Certains utilisateurs du forum, ayant décidé que les LLM ne sont pas encore suffisamment matures (ou sécurisés) pour contribuer aux attaques, les utilisent à la place à d’autres fins, telles que des tâches de codage basique ou des améliorations du forum.

Pendant ce temps, en arrière plan, des opportunistes et d’éventuels fraudeurs cherchent à gagner rapidement de l’argent grâce à ce secteur en pleine croissance, que ce soit en vendant des invites et des services de type GPT, ou en compromettant des comptes.

Dans l’ensemble, du moins dans les forums que nous avons examinés pour cette recherche, et contrairement à nos attentes, les LLM ne semblent pas être un sujet de discussion majeur, ni un marché particulièrement actif par rapport à d’autres produits et services. La plupart des acteurs malveillants continuent de vaquer à leurs occupations quotidiennes habituelles, tout en ne faisant appel qu’occasionnellement à l’IA générative. Cela étant dit, le nombre de services liés aux GPT que nous avons trouvés suggère qu’il s’agit d’un marché en croissance, et il est possible que de plus en plus d’acteurs malveillants commencent également à intégrer des composants compatibles LLM dans d’autres services.

En fin de compte, nos recherches révèlent que de nombreux acteurs malveillants sont confrontés aux mêmes préoccupations que la plupart d’entre nous concernant les LLM, notamment des appréhensions concernant l’exactitude, la confidentialité et l’applicabilité. Mais ils ont également des préoccupations spécifiques à la cybercriminalité, qui pourraient les empêcher, du moins pour le moment, d’adopter cette technologie plus largement.

Bien que ce malaise ne dissuade visiblement pas tous les cybercriminels d’utiliser les LLM, beaucoup adoptent une attitude attentiste. Comme le souligne Trend Micro dans son rapport, l’IA en est encore à ses balbutiements dans le milieu cybercriminel. Pour l’instant, les acteurs malveillants semblent préférer expérimenter, débattre et jouer, mais s’abstiennent de toute utilisation pratique à grande échelle, au moins jusqu’à ce que cette technologie ne soit en mesure de s’aligner sur leurs cas d’usage.

Billet inspiré de Cybercriminals can’t agree on GPTs, sur le Blog Sophos.