Aplicaciones
Además de los derivados de ChatGPT, también queríamos explorar cómo los actores de amenazas están utilizando, o esperan utilizar los LLM y encontramos, una vez más, diversas opiniones.
Ideas y aspiraciones
En los foros frecuentados por actores de amenazas más sofisticados y profesionalizados, en particular Exploit, observamos una mayor incidencia de discusiones sobre aspiraciones relacionadas con la IA, en las que los usuarios estaban interesados en explorar la viabilidad, las ideas y las posibles aplicaciones futuras.
Vimos pocas pruebas de que los usuarios de Exploit o XSS intentaran generar malware utilizando IA (aunque sí vimos un par de herramientas de ataque, que se analizan en la siguiente sección).
En los foros de nivel inferior, Breach Forums y Hackforums, esta dinámica se invirtió de hecho, con pocas pruebas de pensamiento aspiracional y más pruebas de experimentos prácticos, pruebas de concepto y scripts. Esto puede sugerir que los actores de amenazas más cualificados opinan que los LLM están aún en pañales, al menos en lo que se refiere a aplicaciones prácticas para la ciberdelincuencia, y por ello se centran más en posibles aplicaciones futuras. Por el contrario, los actores de amenazas menos cualificados pueden estar intentando lograr cosas con la tecnología tal y como existe ahora, a pesar de sus limitaciones.
Malware
En Breach Forums y Hackforums, observamos varios casos de usuarios que compartían código que habían generado utilizando IA, incluyendo RATs, keyloggers e infostealers.
Algunos de estos intentos, sin embargo, fueron recibidos con escepticismo.
Ninguno de los programas maliciosos generados por IA (prácticamente todos en Python, por razones que no están claras) que observamos en Breach Forums o Hackforums parecen ser novedoso o sofisticados. Eso no quiere decir que no sea posible crear malware sofisticado, pero no vimos pruebas de ello en los posts que examinamos.
Herramientas
Sin embargo, observamos que algunos usuarios de foros están explorando la posibilidad de utilizar los LLM para desarrollar herramientas de ataque en lugar de malware. En Exploit, por ejemplo, vimos a un usuario compartiendo un script de fuerza bruta RDP masivo.
En Hackforums, un usuario compartió un script para resumir los escritos de recompensas por fallos con ChatGPT.
En ocasiones, hemos observado que algunos usuarios parecen estar esforzándose un poco cuando se trata de encontrar aplicaciones para ChatGPT. El usuario que compartió el script que resumía las recompensas por fallos, por ejemplo, también compartió un script que hace lo siguiente:
- Hace una pregunta a ChatGPT
- Si la respuesta empieza por “Como modelo lingüístico de IA…”, busca en Google, utilizando la pregunta como consulta de búsqueda
- Copia los resultados de Google
- Haz la misma pregunta a ChatGPT, estipulando que la respuesta debe proceder de los resultados de Google obtenidos
- Si ChatGPT sigue respondiendo con “Como modelo lingüístico de IA…”, pide a ChatGPT que reformule la pregunta como una búsqueda en Google, ejecute esa búsqueda y repita los pasos 3 y 4
- Haz esto cinco veces hasta que ChatGPT proporcione una respuesta viable
No hemos probado el script proporcionado, pero sospechamos que antes de que se complete, la mayoría de los usuarios probablemente se darían por vencidos y utilizarían Google.
Ingeniería social
Quizá una de las posibles aplicaciones más preocupantes de los LLM sea la ingeniería social, ya que algunos actores de amenazas reconocen su potencial en este espacio. También hemos observado esta tendencia en nuestra propia investigación sobre estafas con criptomonedas.
Programación y desarrollo
Otra área en la que los actores de amenazas parecen estar utilizando eficazmente los LLM es con el desarrollo de software no malicioso. Varios usuarios, sobre todo en Hackforums, informan de que los utilizan para completar tareas mundanas de codificación, generar datos de prueba y portar bibliotecas a otros idiomas, aunque los resultados no siempre sean correctos y a veces requieran correcciones manuales.
Mejoras en los foros
Tanto en Hackforums como en XSS, los usuarios han propuesto utilizar LLM para mejorar sus foros en beneficio de sus respectivas comunidades.
En Hackforums, por ejemplo, un usuario que publica con frecuencia scripts relacionados con la IA compartió un script para respuestas autogeneradas a los hilos, utilizando ChatGPT.
Este usuario no fue la primera persona a la que se le ocurrió la idea de responder a los mensajes utilizando ChatGPT. Un mes antes, en XSS, un usuario escribió un largo post en respuesta a un hilo sobre un criptógrafo Python, solo para que otro usuario le respondiera: “lo más chatgpt que he [sic] leído en mi vida”.
También en XSS, el administrador del foro ha llevado las cosas un paso más allá de compartir un script, creando un chatbot dedicado al foro para responder a las preguntas de los usuarios.
El anuncio dice (trans.):
En esta sección, puede chatear con la IA (Inteligencia Artificial). Haga una pregunta y nuestro robot de IA le responderá. Esta sección es de entretenimiento y técnica. El bot está basado en ChatGPT (modelo: gpt-3.5-turbo).
Reglas breves:
- La sección es de entretenimiento y técnica – puede crear temas exclusivamente sobre los temas de nuestro foro. No es necesario hacer preguntas sobre el tiempo, biología, economía, política, etc. Solo los temas de nuestro foro, el resto está prohibido, los temas serán borrados.
- ¿Cómo funciona? Abra un tema – obtenga una respuesta de nuestro robot de IA.
- Puede entablar un diálogo con el bot, para ello necesita citarlo.
- Todos los miembros del foro pueden participar en el tema, y no solo el autor del mismo. Pueden comunicarse entre ustedes y con el bot citándolo.
- Un tema – una pregunta temática. Si tiene otra pregunta en otro sentido, abra un nuevo tema.
- Limitación en un tema – 10 mensajes (respuestas) del bot.
Esta sección y el AI-bot están diseñados para resolver problemas técnicos sencillos, para el entretenimiento técnico de nuestros usuarios, para familiarizar a los usuarios con las posibilidades de la IA.
El bot de IA funciona en beta. Por sí mismo, ChatGPT es tosco. Los servidores de OpenAI a veces se congelan. Considere todo esto.
A pesar de que los usuarios respondieron con entusiasmo a este anuncio, XSSBot no parece especialmente adecuado para su uso en un foro criminal.
Algunos usuarios parecen estar utilizando XSSBot para otros fines; uno le pidió que creara un anuncio y un argumento de venta de su trabajo como autónomo, presumiblemente para publicarlo en otro lugar del foro.
XSSBot accedió y el usuario borró entonces su solicitud original, probablemente para evitar que la gente se enterara de que el texto había sido generado por un LLM. Sin embargo, aunque el usuario pudo borrar sus mensajes, no pudo convencer a XSSBot de que borrara los suyos, a pesar de varios intentos.
Script kiddies
Como era de esperar, algunos actores de amenazas no cualificados (conocidos popularmente como “script kiddies” están ansiosos por utilizar los LLM para generar malware y herramientas que son incapaces de desarrollar por sí mismos. Hemos observado varios ejemplos de ello, sobre todo en Breach Forums y Hackforums.
También descubrimos que, en su entusiasmo por utilizar ChatGPT y herramientas similares, un usuario (sobre XSS, sorprendentemente) había cometido lo que parece ser un error operativo de seguridad.
El usuario inició un hilo, titulado “Hey everyone, check out this idea I had and made with Chat GPT (RAT Spreading Method)”, para explicar su idea para una campaña de distribución de malware: crear un sitio web en el que los visitantes puedan tomarse selfies, que luego se convierten en una “imagen de selfie de celebridad de IA” descargable. Naturalmente, la imagen descargada es malware. El usuario afirmó que ChatGPT le ayudó a convertir esta idea en una prueba de concepto.
Para ilustrar su idea, el usuario subió varias capturas de pantalla de la campaña. Éstas incluían imágenes del escritorio del usuario y de la campaña de prueba de concepto, y mostraban:
- Todas las pestañas abiertas en el navegador del usuario incluyendo una pestaña de Instagram con su nombre de pila
- Una URL local que mostraba el nombre del ordenador
- Una ventana del Explorador, incluida una carpeta titulada con el nombre completo del usuario
- Una demostración de la página web, completa con una fotografía sin editar de lo que parece ser la cara del usuario
