Los ciberdelincuentes no se ponen de acuerdo sobre GPT (3 de 3)

Sophos Iberia

12 months ago

Debates y liderazgo de pensamiento

Curiosamente, también observamos varios ejemplos de debates y liderazgo de pensamiento en los foros, especialmente en Exploit y XSS donde los usuarios en general tendían a ser más circunspectos sobre las aplicaciones prácticas, pero también en Breach Forums y Hackforums.

Figura 47: un ejemplo de un artículo de liderazgo intelectual en Breach Forums, titulado “La intersección de la IA y la ciberseguridad”

Figura 48: un usuario de XSS discute los problemas con los LLM, incluidos los “efectos negativos para la sociedad”

Figura 49: extracto de un post en Breach Forums, titulado “Por qué ChatGPT no da miedo”

Figura 50: un destacado actor de amenazas publica (trans.): “No puedo predecir el futuro, pero es importante entender que ChatGPT no es inteligencia artificial. No tiene inteligencia, no sabe nada ni entiende nada. Juega con las palabras para crear un texto en inglés que suene plausible, pero cualquier afirmación que se haga en él puede ser falsa. No puede escapar porque no sabe lo que significan las palabras”

Escepticismo

En general, observamos mucho escepticismo en los cuatro foros sobre la capacidad de los LLM para contribuir a la ciberdelincuencia.

Figura 51: un usuario de Exploit argumenta que ChatGPT es “completamente inútil”, en el contexto del “crear código para malware”

En ocasiones, este escepticismo se atenuó con recordatorios de que la tecnología aún está en pañales:

Figura 52: un usuario de XSS afirma que las herramientas de IA no siempre son precisas, pero señala que existe un “gran potencial”

Figura 53: un usuario de Exploit dice (trans.): “por supuesto, aún no somos capaces de crear una IA en toda regla, pero estas son solo las versiones 3 y 4, se está desarrollando bastante rápido y la diferencia es bastante notable entre versiones, no todos los proyectos pueden presumir de tal dinámica de desarrollo, creo que la versión 5 o 7 ya corresponderá a una IA en toda regla, + mucho depende de las limitaciones de la tecnología, hecha por seguridad, si alguien consigue el código fuente del experimento y hace su propia versión sin frenos ni censura, será más divertido”

Otros comentaristas, sin embargo, se mostraron más despectivos, y no necesariamente tan bien informados:

Figura 54: un usuario de Exploit argumenta que “bots como éste” existían en 2004

Preocupaciones de OPSEC

Algunos usuarios tenían preocupaciones específicas de seguridad operativa sobre el uso de los LLM para facilitar la ciberdelincuencia, lo que puede repercutir en su adopción entre los actores de amenazas a largo plazo. En Exploit, por ejemplo, un usuario argumentó que (trans.) “está diseñado para aprender y beneficiarse de tus aportaciones… ¿quizás [Microsoft] esté utilizando el código generado que creamos para mejorar su sandbox AV? No lo sé, todo lo que sé es que yo solo tocaría esto con guantes gruesos”.

Figura 55: un usuario de Exploit expresa su preocupación por la privacidad de las consultas de ChatGPT

En consecuencia, como sugiere un usuario de Breach Forums, lo que puede ocurrir es que la gente desarrolle sus propios LLM más pequeños e independientes para utilizarlos offline, en lugar de utilizar interfaces disponibles públicamente y conectados a Internet.

Figura 56: un usuario de Breach Forums especula sobre si existe visibilidad policial de las consultas ChatGPT, y quién será la primera persona en ser “clavada” como consecuencia de ello

Preocupaciones éticas

En términos más generales, también observamos algunos debates más filosóficos sobre la IA en general y sus implicaciones éticas.

Figura 57: extracto de un largo hilo en Breach Forums, donde los usuarios discuten las implicaciones éticas de la IA

Conclusión

Los actores de las amenazas están divididos en cuanto a sus actitudes hacia la IA generativa. Algunos, una mezcla de usuarios competentes y script kiddies, son entusiastas adoptadores tempranos, compartiendo fácilmente jailbreaks y malware y herramientas generados por la IA, aunque los resultados no siempre sean particularmente impresionantes. Otros usuarios son mucho más circunspectos y tienen preocupaciones tanto específicas (seguridad operativa, precisión, eficacia, detección) como generales (éticas, filosóficas). En este último grupo, algunos son escépticos confirmados (y ocasionalmente hostiles), mientras que otros son más tímidos.

Encontramos pocas pruebas de que los actores de las amenazas admitan haber utilizado la IA en ataques en el mundo real, lo que no quiere decir que eso no esté ocurriendo. Pero la mayor parte de la actividad que observamos en los foros se limitaba a compartir ideas, pruebas de concepto y reflexiones. Algunos usuarios de los foros, habiendo decidido que los LLM aún no son lo suficientemente maduros (o seguros) como para ayudar en los ataques, los están utilizando en cambio para otros fines, como tareas básicas de codificación o mejoras del foro.

Mientras tanto, en un segundo plano, los oportunistas, y posibles estafadores, buscan hacer dinero rápido con esta creciente industria, ya sea mediante la venta de prompts y servicios similares a los GPT, o comprometiendo cuentas.

En general, al menos en los foros que examinamos para esta investigación, y en contra de nuestras expectativas, los LLM no parecen ser un gran tema de discusión, ni un mercado especialmente activo en comparación con otros productos y servicios. La mayoría de los actores de amenazas siguen dedicándose a sus actividades cotidianas habituales, mientras que solo ocasionalmente se sumergen en la IA generativa. Dicho esto, el número de servicios relacionados con la GPT que encontramos sugiere que se trata de un mercado en crecimiento, y es posible que cada vez más actores de amenazas empiecen a incorporar también componentes habilitados para la LLM en otros servicios.

En última instancia, nuestra investigación revela que muchos actores de amenazas están luchando con las mismas preocupaciones sobre los LLM que el resto de nosotros, incluyendo aprensiones sobre la precisión, la privacidad y la aplicabilidad. Pero también tienen inquietudes específicas de la ciberdelincuencia, que pueden frenarles, al menos de momento, de adoptar la tecnología de forma más generalizada.

Aunque está demostrado que esta inquietud no disuade a todos los ciberdelincuentes de utilizar las LLM, muchos están adoptando una actitud de “esperar y ver”; como concluye nuestro competidor en su informe, la IA todavía está en pañales en la clandestinidad delictiva. Por el momento, los actores de las amenazas parecen preferir experimentar, debatir y jugar, pero se abstienen de cualquier uso práctico a gran escala, al menos hasta que la tecnología se ponga a la altura de sus casos de uso.