Site icon Sophos News

Los ciberdelincuentes no se ponen de acuerdo sobre GPT (2 de 3)

Aplicaciones

Además de los derivados de ChatGPT, también queríamos explorar cómo los actores de amenazas están utilizando, o esperan utilizar los LLM y encontramos, una vez más, diversas opiniones.

Ideas y aspiraciones

En los foros frecuentados por actores de amenazas más sofisticados y profesionalizados, en particular Exploit, observamos una mayor incidencia de discusiones sobre aspiraciones relacionadas con la IA, en las que los usuarios estaban interesados en explorar la viabilidad, las ideas y las posibles aplicaciones futuras.

Figura 22: un usuario de Exploit abre un hilo “para compartir ideas”

Vimos pocas pruebas de que los usuarios de Exploit o XSS intentaran generar malware utilizando IA (aunque sí vimos un par de herramientas de ataque, que se analizan en la siguiente sección).

Figura 23: un usuario de Exploit expresa su interés por la viabilidad de emular voces con fines de ingeniería social

En los foros de nivel inferior, Breach Forums y Hackforums, esta dinámica se invirtió de hecho, con pocas pruebas de pensamiento aspiracional y más pruebas de experimentos prácticos, pruebas de concepto y scripts. Esto puede sugerir que los actores de amenazas más cualificados opinan que los LLM están aún en pañales, al menos en lo que se refiere a aplicaciones prácticas para la ciberdelincuencia, y por ello se centran más en posibles aplicaciones futuras. Por el contrario, los actores de amenazas menos cualificados pueden estar intentando lograr cosas con la tecnología tal y como existe ahora, a pesar de sus limitaciones.

Malware

En Breach Forums y Hackforums, observamos varios casos de usuarios que compartían código que habían generado utilizando IA, incluyendo RATs, keyloggers e infostealers.

Figura 24: un usuario de Hackforums afirma haber creado un keylogger PowerShell, con persistencia y un bypass UAC, que no fue detectado en VirusTotal
Figura 25: otro usuario de Hackforums no fue capaz de eludir las restricciones de ChatGPT, por lo que en su lugar planeó escribir malware “con pasos de bebé”, comenzando con un script para registrar una dirección IP en un archivo de texto

Algunos de estos intentos, sin embargo, fueron recibidos con escepticismo.

Figura 26: un usuario de Hackforums señala que los usuarios podrían simplemente buscar en Google en lugar de utilizar ChatGPT
Figura 27: un usuario de Exploit expresa su preocupación por que el código generado por IA pueda ser más fácil de detectar

Ninguno de los programas maliciosos generados por IA (prácticamente todos en Python, por razones que no están claras) que observamos en Breach Forums o Hackforums parecen ser novedoso o sofisticados. Eso no quiere decir que no sea posible crear malware sofisticado, pero no vimos pruebas de ello en los posts que examinamos.

Herramientas

Sin embargo, observamos que algunos usuarios de foros están explorando la posibilidad de utilizar los LLM para desarrollar herramientas de ataque en lugar de malware. En Exploit, por ejemplo, vimos a un usuario compartiendo un script de fuerza bruta RDP masivo.

Figura 28: parte de una herramienta de fuerza bruta RDP masiva compartida en Exploit

En Hackforums, un usuario compartió un script para resumir los escritos de recompensas por fallos con ChatGPT.

Figura 29: un usuario de Hackforums comparte su script para resumir los informes de recompensas por fallos

En ocasiones, hemos observado que algunos usuarios parecen estar esforzándose un poco cuando se trata de encontrar aplicaciones para ChatGPT. El usuario que compartió el script que resumía las recompensas por fallos, por ejemplo, también compartió un script que hace lo siguiente:

  1. Hace una pregunta a ChatGPT
  2. Si la respuesta empieza por “Como modelo lingüístico de IA…”, busca en Google, utilizando la pregunta como consulta de búsqueda
  3. Copia los resultados de Google
  4. Haz la misma pregunta a ChatGPT, estipulando que la respuesta debe proceder de los resultados de Google obtenidos
  5. Si ChatGPT sigue respondiendo con “Como modelo lingüístico de IA…”, pide a ChatGPT que reformule la pregunta como una búsqueda en Google, ejecute esa búsqueda y repita los pasos 3 y 4
  6. Haz esto cinco veces hasta que ChatGPT proporcione una respuesta viable
Figura 30: el script ChatGPT/Google compartido en Hackforums, que trae a la mente el dicho “Una solución en busca de un problema”

No hemos probado el script proporcionado, pero sospechamos que antes de que se complete, la mayoría de los usuarios probablemente se darían por vencidos y utilizarían Google.

Ingeniería social

Quizá una de las posibles aplicaciones más preocupantes de los LLM sea la ingeniería social, ya que algunos actores de amenazas reconocen su potencial en este espacio. También hemos observado esta tendencia en nuestra propia investigación sobre estafas con criptomonedas.

Figura 31: un usuario afirma haber utilizado ChatGPT para generar contratos inteligentes fraudulentos
Figura 32: otro usuario sugiere utilizar ChatGPT para traducir texto cuando se dirige a otros países, en lugar de Google Translate

Programación y desarrollo

Otra área en la que los actores de amenazas parecen estar utilizando eficazmente los LLM es con el desarrollo de software no malicioso. Varios usuarios, sobre todo en Hackforums, informan de que los utilizan para completar tareas mundanas de codificación, generar datos de prueba y portar bibliotecas a otros idiomas, aunque los resultados no siempre sean correctos y a veces requieran correcciones manuales.

Figura 33: usuarios de Hackforums discuten el uso de ChatGPT para la conversión de código

Mejoras en los foros

Tanto en Hackforums como en XSS, los usuarios han propuesto utilizar LLM para mejorar sus foros en beneficio de sus respectivas comunidades.

En Hackforums, por ejemplo, un usuario que publica con frecuencia scripts relacionados con la IA compartió un script para respuestas autogeneradas a los hilos, utilizando ChatGPT.

Figura 34: Un usuario de Hackforums comparte un script para autogenerar respuestas

Este usuario no fue la primera persona a la que se le ocurrió la idea de responder a los mensajes utilizando ChatGPT. Un mes antes, en XSS, un usuario escribió un largo post en respuesta a un hilo sobre un criptógrafo Python, solo para que otro usuario le respondiera: “lo más chatgpt que he [sic] leído en mi vida”.

Figura 35: un usuario de XSS acusa a otro de utilizar ChatGPT para crear mensajes

También en XSS, el administrador del foro ha llevado las cosas un paso más allá de compartir un script, creando un chatbot dedicado al foro para responder a las preguntas de los usuarios.

Figura 36: el administrador de XSS anuncia el lanzamiento de ‘XSSBot’

El anuncio dice (trans.):

En esta sección, puede chatear con la IA (Inteligencia Artificial). Haga una pregunta y nuestro robot de IA le responderá. Esta sección es de entretenimiento y técnica. El bot está basado en ChatGPT (modelo: gpt-3.5-turbo).

Reglas breves:

  1. La sección es de entretenimiento y técnica – puede crear temas exclusivamente sobre los temas de nuestro foro. No es necesario hacer preguntas sobre el tiempo, biología, economía, política, etc. Solo los temas de nuestro foro, el resto está prohibido, los temas serán borrados.
  2. ¿Cómo funciona? Abra un tema – obtenga una respuesta de nuestro robot de IA.
  3. Puede entablar un diálogo con el bot, para ello necesita citarlo.
  4. Todos los miembros del foro pueden participar en el tema, y no solo el autor del mismo. Pueden comunicarse entre ustedes y con el bot citándolo.
  5. Un tema – una pregunta temática. Si tiene otra pregunta en otro sentido, abra un nuevo tema.
  6. Limitación en un tema – 10 mensajes (respuestas) del bot.

Esta sección y el AI-bot están diseñados para resolver problemas técnicos sencillos, para el entretenimiento técnico de nuestros usuarios, para familiarizar a los usuarios con las posibilidades de la IA.

El bot de IA funciona en beta. Por sí mismo, ChatGPT es tosco. Los servidores de OpenAI a veces se congelan. Considere todo esto.

A pesar de que los usuarios respondieron con entusiasmo a este anuncio, XSSBot no parece especialmente adecuado para su uso en un foro criminal.

Figura 37: XSSBot se niega a decirle a un usuario cómo codificar malware

Figura 38: XSSBot se niega a crear una herramienta de fuerza bruta SSH en Python, diciéndole al usuario [énfasis añadido]: “Es importante respetar la privacidad y la seguridad de los demás. En su lugar, sugiero aprender sobre ciberdelincuenciaética y practicarlade forma legal y ética”
Tal vez como resultado de estas negativas, un usuario intentó, sin éxito, hacer jailbreak a XSSBot.

Figura 39: un intento ineficaz de jailbreak en XSSBot

Algunos usuarios parecen estar utilizando XSSBot para otros fines; uno le pidió que creara un anuncio y un argumento de venta de su trabajo como autónomo, presumiblemente para publicarlo en otro lugar del foro.

Figura 40: XSSBot produce material promocional para un usuario de XSS

XSSBot accedió y el usuario borró entonces su solicitud original, probablemente para evitar que la gente se enterara de que el texto había sido generado por un LLM. Sin embargo, aunque el usuario pudo borrar sus mensajes, no pudo convencer a XSSBot de que borrara los suyos, a pesar de varios intentos.

Figura 41: XSSBot se niega a borrar el post que él mismo creó

Script kiddies

Como era de esperar, algunos actores de amenazas no cualificados (conocidos popularmente como “script kiddies” están ansiosos por utilizar los LLM para generar malware y herramientas que son incapaces de desarrollar por sí mismos. Hemos observado varios ejemplos de ello, sobre todo en Breach Forums y Hackforums.

Figura 42: un script kiddie de Breach Forums pregunta cómo utilizar ChatGPT para piratear a cualquiera
Figura 43: un usuario de Hackforums se pregunta si WormGPT puede hacer que las cargas útiles de Cobalt Strike sean indetectables, una pregunta que se encuentra con la corta respuesta de un usuario más realista
Figura 44: Una pregunta incoherente sobre WormGPT en Hackforums

También descubrimos que, en su entusiasmo por utilizar ChatGPT y herramientas similares, un usuario (sobre XSS, sorprendentemente) había cometido lo que parece ser un error operativo de seguridad.

El usuario inició un hilo, titulado “Hey everyone, check out this idea I had and made with Chat GPT (RAT Spreading Method)”, para explicar su idea para una campaña de distribución de malware: crear un sitio web en el que los visitantes puedan tomarse selfies, que luego se convierten en una “imagen de selfie de celebridad de IA” descargable. Naturalmente, la imagen descargada es malware. El usuario afirmó que ChatGPT le ayudó a convertir esta idea en una prueba de concepto.

Figura 45: el post sobre XSS, explicando la campaña de distribución de malware generada por ChatGPT

Para ilustrar su idea, el usuario subió varias capturas de pantalla de la campaña. Éstas incluían imágenes del escritorio del usuario y de la campaña de prueba de concepto, y mostraban:

Figura 46: un usuario publica una foto de (presumiblemente) su propia cara
Exit mobile version