Una gran cantidad de cobertura mediática siguió a la noticia de que grandes modelos lingüísticos (LLM) destinados a ser utilizados por ciberdelincuentes (incluidos WormGPT y FraudGPT) estaban a la venta en foros clandestinos. Muchos comentaristas expresaron su temor de que dichos modelos permitieran a los actores de amenazas crear “malware mutante” y formaran parte de un “frenesí” de actividades relacionadas en foros clandestinos.
El doble uso de los LLM es sin duda preocupante, y no cabe duda de que los actores de amenazas tratarán de aprovecharlos para sus propios fines. Herramientas como WormGPT son un primer indicio de ello (aunque los desarrolladores de WormGPT ya han cerrado el proyecto, aparentemente porque se alarmaron por la cantidad de atención mediática que recibieron). Lo que no está tan claro es qué piensan los actores de amenazas en general sobre este tipo de herramientas, y para qué las utilizan realmente más allá de unos pocos incidentes de los que se ha informado públicamente.
Sophos X-Ops decidió investigar las discusiones y opiniones relacionadas con los LLM en una selección de foros delictivos, para conocer mejor el estado actual de la cuestión y explorar lo que los propios actores de amenazas piensan realmente sobre las oportunidades (y los riesgos) que plantean los LLM. Recorrimos cuatro destacados foros y mercados, analizando específicamente para qué utilizan los LLM los actores de amenazas, sus percepciones sobre ellos y sus pensamientos sobre herramientas como WormGPT.
Un breve resumen de nuestros hallazgos:
- Encontramos múltiples derivados de GPT que afirman ofrecer capacidades similares a WormGPT y FraudGPT, incluyendo EvilGPT, DarkGPT, PentesterGPT y XXXGPT. Sin embargo, también observamos escepticismo acerca de algunos de ellos, incluyendo acusaciones de que son estafas (algo que no es extraño en los foros de delincuentes).
- En general, hay mucho escepticismo sobre herramientas como ChatGPT, incluyendo argumentos de que está sobrevalorada, sobredimensionada, redundante e inadecuada para generar malware.
- Los actores de la amenaza también tienen dudas sobre el código generado por LLM, incluyendo preocupaciones sobre la seguridad operativa y la detección AV/EDR.
- Muchos mensajes se centran en los “jailbreaks” (que también aparecen con regularidad en las redes sociales y en blogs legítimos) y en las cuentas ChatGPT comprometidas.
- Las aplicaciones en el mundo real siguen siendo en su mayor parte aspiracionales y se limitan generalmente a ataques de ingeniería social o a tareas tangenciales relacionadas con la seguridad.
- Solo hemos encontrado unos pocos ejemplos de actores de amenazas que utilicen LLM para generar malware y herramientas de ataque y eso solo en un contexto de prueba de concepto.
- Sin embargo, otros lo están utilizando eficazmente para otros trabajos, como tareas mundanas de codificación.
- Como era de esperar, los “script kiddies” no cualificados están interesados en utilizar los LLM para generar malware, pero, también como era de esperar, a menudo son incapaces de eludir las restricciones de las instrucciones o de comprender los errores del código resultante.
- Algunos actores de amenazas están utilizando los LLM para mejorar los foros que frecuentan, mediante la creación de chatbots y respuestas automáticas con distintos niveles de éxito, mientras que otros lo utilizan para desarrollar herramientas redundantes o superfluas.
- También observamos ejemplos de “liderazgo de pensamiento” relacionado con la IA en los foros, lo que sugiere que los actores de amenazas están luchando con las mismas cuestiones logísticas, filosóficas y éticas que todos los demás cuando se trata de esta tecnología.
Mientras escribíamos este artículo, que se basa en nuestra propia investigación independiente, nos dimos cuenta de que uno de nuestros competidoreshabía publicado recientemente su propia investigación sobre este tema. Nuestra investigación en algunas áreas confirma y valida algunas de sus conclusiones.
Los foros
Para esta investigación nos hemos centrado en cuatro foros:
- Exploit: un destacado foro en lengua rusa que da prioridad a los listados de Access-a-a-Service (AaaS), pero que también permite la compraventa de otros contenidos ilícitos (incluido malware, fugas de datos, registros de infosteadores y credenciales) y debates más amplios sobre diversos temas de ciberdelincuencia.
- XSS: un destacado foro en ruso. Al igual que Exploit, está bien establecido y también alberga tanto un mercado como debates e iniciativas más amplias.
- Breach Forums: ahora en su segunda iteración, este foro en inglés sustituyó a RaidForums tras su incautación en 2022; la primera versión de Breach Forums fue igualmente clausurada en 2023. Breach Forums se especializa en filtraciones de datos, incluyendo bases de datos, credenciales y datos personales.
- Hackforums: un foro en inglés de larga duración que tiene fama de estar poblado por script kiddies, aunque algunos de sus usuarios han estado vinculados con anterioridad a malware e incidentes de alto perfil.
Una advertencia antes de empezar: las opiniones aquí expuestas no pueden considerarse representativas de todas las actitudes y creencias de los actores de amenazas, y no proceden de encuestas o entrevistas cualitativas. En su lugar, esta investigación debe considerarse como una evaluación exploratoria de los debates y contenidos relacionados con el LLM tal y como aparecen actualmente en los foros mencionados.
Indagando
Una de las primeras cosas que observamos es que la IA no es precisamente un tema candente en ninguno de los foros que examinamos. En dos de los foros, había menos de 100 mensajes sobre el tema, pero casi 1.000 mensajes sobre criptomonedas.
Aunque nos gustaría investigar más antes de sacar conclusiones firmes sobre esta discrepancia, las cifras sugieren que no ha habido una explosión de discusiones relacionadas con el LLM en los foros, al menos no en la medida en que la ha habido en, por ejemplo, LinkedIn. Eso podría deberse a que muchos ciberdelincuentes consideran que la IA generativa aún está en pañales (al menos en comparación con las criptomonedas, que tienen una relevancia real para ellos como tecnología establecida y relativamente madura). Y, a diferencia de algunos usuarios de LinkedIn, los actores de amenazas tienen poco que ganar especulando sobre las implicaciones de una tecnología incipiente.
Por supuesto, solo hemos examinado los cuatro foros mencionados, y es totalmente posible que se estén produciendo discusiones más activas en torno a las LLM en otros canales menos visibles.
Déjame salir de aquí
Nuestro competidortambién señaló en su informe, descubrimos que una cantidad significativa de los mensajes relacionados con los LLM en los foros se centran en jailbreaks, ya sean de otras fuentes o jailbreaks compartidos por los miembros del foro (un “jailbreak” en este contexto es un medio de engañar a un LLM para que eluda su propia autocensura a la hora de devolver respuestas dañinas, ilegales o inapropiadas).
Aunque esto pueda parecer preocupante, los jailbreaks también se comparten pública y ampliamente en Internet, incluso en publicaciones en redes sociales, sitios web dedicados que contienen colecciones de jailbreaks, subreddits dedicados al tema y vídeos de YouTube.
Existe el argumento de que los actores de amenazas pueden, en base a su experiencia y habilidades, estar en mejor posición que la mayoría para desarrollar jailbreaks novedosos, pero observamos pocas pruebas de ello.
Cuentas en venta
Más comúnmente y especialmente, como era de esperar, en Breach Forums observamos que muchos de los posts relacionados con LLM eran en realidad cuentas ChatGPT comprometidas en venta.
Hay poco de interés que discutir aquí, solo que los actores de amenazas están obviamente aprovechando la oportunidad de comprometer y vender cuentas en nuevas plataformas. Lo que está menos claro es cuál sería el público objetivo de estas cuentas y qué intentaría hacer un comprador con una cuenta de ChatGPT robada. Potencialmente podrían acceder a consultas anteriores y obtener información sensible, o utilizar el acceso para ejecutar sus propias consultas, o comprobar la reutilización de contraseñas.
Subirse al “BandwagonGPT”
De mayor interés fue nuestro descubrimiento de que WormGPT y FraudGPT no son los únicos jugadores en la ciudad, un descubrimiento que otro fabricante también destacó en su informe. Durante nuestra investigación, observamos otros ocho modelos a la venta en foros como servicio, o desarrollados en otros lugares y compartidos con los usuarios de los foros.
- XXXGPT
- Evil-GPT
- WolfGPT
- BlackHatGPT
- DarkGPT
- HackBot
- PentesterGPT
- PrivateGPT
Sin embargo, observamos algunas reacciones encontradas ante estas herramientas. Algunos usuarios estaban muy dispuestos a probarlas o comprarlas, pero muchos dudaban de sus capacidades y de su novedad. Y algunos se mostraron directamente hostiles, acusando a los desarrolladores de las herramientas de ser unos estafadores.
WormGPT
WormGPT, lanzado en junio de 2023, era un servicio privado de chatbot supuestamente basado en el LLM GPT-J 6B y ofrecido como servicio comercial en varios foros delictivos. Como ocurre con muchos servicios y herramientas de la ciberdelincuencia, su lanzamiento fue acompañado de una hábil campaña promocional, que incluía imágenes y ejemplos.
Se desconoce hasta qué punto WormGPT facilitó algún ataque en el mundo real. Sin embargo, el proyecto recibió una considerable atención por parte de los medios de comunicación, lo que quizás llevó a sus desarrolladores a restringir primero algunos de los temas disponibles para los usuarios (incluyendo el compromiso del correo electrónico empresarial y el carding), y después a cerrarlo por completo en agosto de 2023.
En el anuncio que marca el fin de WormGPT, el desarrollador señala específicamente la atención mediática que recibieron como razón clave para decidir poner fin al proyecto. También señalan que: “A fin de cuentas, WormGPT no es más que un ChatGPT sin restricciones. Cualquiera en Internet puede emplear una conocida técnica de jailbreak y conseguir los mismos resultados, si no mejores”.
Mientras que algunos usuarios expresaron su pesar por el cierre de WormGPT, otros se mostraron irritados. Un usuario de Hackforums señaló que su licencia había dejado de funcionar, y usuarios tanto de Hackforums como de XSS alegaron que todo había sido una estafa.
FraudGPT
También se ha lanzado la misma acusación contra FraudGPT y otros han cuestionado sus capacidades. Por ejemplo, un usuario de Hackforums preguntó si la afirmación de que FraudGPT puede generar “una gama de malware que el software antivirus no puede detectar” era exacta. Otro usuario les proporcionó una opinión informada:
Esta actitud parece prevalecer cuando se trata de servicios GPT maliciosos, como veremos en breve.
XXXGPT
El engañosamente titulado XXXGPT fue anunciado en XSS en julio de 2023. Al igual que WormGPT, llegó con cierta fanfarria, incluidos carteles promocionales, y afirmaba proporcionar “un servicio revolucionario que ofrece personalización de IA bot… sin censura ni restricciones” por 90 dólares al mes.
Sin embargo, el anuncio recibió algunas críticas. Un usuario preguntó qué era exactamente lo que se vendía, cuestionando si se trataba sólo de un prompt con jailbreak.
Otro usuario, probando la demo de XXXGPT, descubrió que seguía devolviendo respuestas censuradas.
El estado actual del proyecto no está claro.
Evil-GPT
Evil-GPT fue anunciado en Breach Forums en agosto de 2023, anunciado explícitamente como una alternativa a WormGPT a un coste mucho menor de 10 dólares. A diferencia de WormGPT y XXXGPT, no había carteles atractivos ni listas de características, solo una captura de pantalla de una consulta de ejemplo.
Los usuarios respondieron positivamente al anuncio, y uno de ellos señaló que aunque “no es preciso para preguntas blackhat ni para codificar malware complejo… [podría] merecer la pena para que alguien jugara un poco”.
Por lo que se anunciaba, y por las reseñas de los usuarios, evaluamos que Evil-GPT se dirige a usuarios que buscan una opción “económica”, quizá limitada en capacidad en comparación con otros servicios GPT maliciosos, pero un “juguete chulo”.
Varios derivados de GPT
Además de WormGPT, FraudGPT, XXXGPT y Evil-GPT, también observamos varios servicios derivados que no parecen haber recibido mucha atención, ni positiva ni negativa.
WolfGPT
WolfGPT fue compartido en XSS por un usuario que afirma que es una herramienta basada en Python que puede “cifrar malware y crear textos de phishing… un competidor de WormGPT y ChatGPT”. La herramienta parece ser un repositorio de GitHub, aunque no hay documentación sobre ella. En su investigación, este competidor señala que WolfGPT también se anunciaba en un canal de Telegram, y que el código de GitHub parece ser una envoltura en Python de la IA de ChatGPT.
BlackHatGPT
Esta herramienta, anunciada en Hackforums, afirma ser un ChatGPT sin censura.
DarkGPT
Otro proyecto de un usuario de Hackforums, DarkGPT afirma de nuevo ser una alternativa sin censura a ChatGPT. Curiosamente, el usuario afirma que DarkGPT ofrece anonimato, aunque no está claro cómo se consigue.
HackBot
Al igual que WolfGPT, HackBot es un repositorio de GitHub, que un usuario compartió con la comunidad de Breach Forums. A diferencia de algunos de los otros servicios descritos anteriormente, HackBot no se presenta como un servicio explícitamente malicioso, y en su lugar está supuestamente dirigido a investigadores de seguridad y probadores de penetración.
PentesterGPT
También observamos otro servicio GPT con temática de seguridad, PentesterGPT.
PrivateGPT
Solo observamos que PrivateGPT se mencionara brevemente en Hackforums, pero afirma ser un LLM sin conexión. Un usuario de Hackforums expresó su interés en reunir “recursos de pirateo” para utilizarlos con él. No hay indicios de que PrivateGPT pretenda utilizarse con fines maliciosos.
En general, aunque vimos más servicios GPT de los que preveíamos, y cierto interés y entusiasmo por parte de los usuarios, también observamos que muchos usuarios reaccionaban ante ellos con indiferencia u hostilidad.
