Sophos X-Ops se concentre généralement sur la manière avec laquelle les technologies d’intelligence artificielle peuvent être utilisées pour améliorer la cybersécurité. Mais lors d’une présentation faite à l’AI Village lors de la DEF CON, samedi 12 août dernier, Ben Gelman et Younghoo Lee de SophosAI sont passés du côté obscur, démontrant comment l’IA générative pouvait être utilisée pour automatiser la création de campagnes visant à voler les identifiants des utilisateurs ainsi que d’autres informations personnelles.
Comme Gelman et Lee l’ont noté dans le résumé de leur présentation, la génération de texte basée sur les grands modèles de langage (LLM : Large Language Model), tels que ChatGPT d’OpenAI, Bard de Google et Llama 2 de Meta, la synthèse vocale par IA, telle que WaveNet de Google et les technologies génératives créatrices d’images, telles que DALL-E, Stable Diffusion et Midjourney, ont permis de créer “un nouveau niveau de contenu diversifié et synthétique” qui peut tromper les utilisateurs à une échelle sans précédent.
Des fraudeurs ont déjà été observés en train d’utiliser les LLM comme outils faisant partie intégrante de leur arsenal, pour générer du texte dans leurs conversations avec des victimes où la maîtrise de la langue de la personne ciblée peut constituer un véritable obstacle. Cependant, les LLM peuvent également être utilisés pour générer d’autres contenus, notamment du texte, mais aussi du code pour des sites Internet. En combinaison avec les capacités de création d’images et d’audio d’autres outils d’IA générative, il est possible d’utiliser l’IA pour générer des campagnes d’escroquerie complètes qui brouillent alors la frontière entre réalité et fiction.
Gelman et Lee ont présenté une preuve de concept pour orchestrer automatiquement des campagnes frauduleuses de vol d’identifiants, en utilisant l’IA pour créer du code, du texte, des images et de l’audio afin de générer des dizaines de sites Web, de catalogues de produits, de témoignages et de publicités sur les réseaux sociaux. Ils ont évoqué également la barrière à l’entrée qui avait baissé pour les cybercriminels ayant une connaissance minimale de l’IA, l’échelle qui pouvait être atteinte avec les outils d’IA en matière d’automatisation, ainsi que les limites des outils qui nécessitent encore une intervention humaine pour accomplir ces tâches.
Billet inspiré de SophosAI at DEF CON: Orchestrating large-scale scams using text, audio and image generative AI, sur le Blog Sophos.
