Debates y liderazgo de pensamiento
Curiosamente, también observamos varios ejemplos de debates y liderazgo de pensamiento en los foros, especialmente en Exploit y XSS donde los usuarios en general tendían a ser más circunspectos sobre las aplicaciones prácticas, pero también en Breach Forums y Hackforums.
Escepticismo
En general, observamos mucho escepticismo en los cuatro foros sobre la capacidad de los LLM para contribuir a la ciberdelincuencia.
En ocasiones, este escepticismo se atenuó con recordatorios de que la tecnología aún está en pañales:
Otros comentaristas, sin embargo, se mostraron más despectivos, y no necesariamente tan bien informados:
Preocupaciones de OPSEC
Algunos usuarios tenían preocupaciones específicas de seguridad operativa sobre el uso de los LLM para facilitar la ciberdelincuencia, lo que puede repercutir en su adopción entre los actores de amenazas a largo plazo. En Exploit, por ejemplo, un usuario argumentó que (trans.) “está diseñado para aprender y beneficiarse de tus aportaciones… ¿quizás [Microsoft] esté utilizando el código generado que creamos para mejorar su sandbox AV? No lo sé, todo lo que sé es que yo solo tocaría esto con guantes gruesos”.
En consecuencia, como sugiere un usuario de Breach Forums, lo que puede ocurrir es que la gente desarrolle sus propios LLM más pequeños e independientes para utilizarlos offline, en lugar de utilizar interfaces disponibles públicamente y conectados a Internet.
Preocupaciones éticas
En términos más generales, también observamos algunos debates más filosóficos sobre la IA en general y sus implicaciones éticas.
Conclusión
Los actores de las amenazas están divididos en cuanto a sus actitudes hacia la IA generativa. Algunos, una mezcla de usuarios competentes y script kiddies, son entusiastas adoptadores tempranos, compartiendo fácilmente jailbreaks y malware y herramientas generados por la IA, aunque los resultados no siempre sean particularmente impresionantes. Otros usuarios son mucho más circunspectos y tienen preocupaciones tanto específicas (seguridad operativa, precisión, eficacia, detección) como generales (éticas, filosóficas). En este último grupo, algunos son escépticos confirmados (y ocasionalmente hostiles), mientras que otros son más tímidos.
Encontramos pocas pruebas de que los actores de las amenazas admitan haber utilizado la IA en ataques en el mundo real, lo que no quiere decir que eso no esté ocurriendo. Pero la mayor parte de la actividad que observamos en los foros se limitaba a compartir ideas, pruebas de concepto y reflexiones. Algunos usuarios de los foros, habiendo decidido que los LLM aún no son lo suficientemente maduros (o seguros) como para ayudar en los ataques, los están utilizando en cambio para otros fines, como tareas básicas de codificación o mejoras del foro.
Mientras tanto, en un segundo plano, los oportunistas, y posibles estafadores, buscan hacer dinero rápido con esta creciente industria, ya sea mediante la venta de prompts y servicios similares a los GPT, o comprometiendo cuentas.
En general, al menos en los foros que examinamos para esta investigación, y en contra de nuestras expectativas, los LLM no parecen ser un gran tema de discusión, ni un mercado especialmente activo en comparación con otros productos y servicios. La mayoría de los actores de amenazas siguen dedicándose a sus actividades cotidianas habituales, mientras que solo ocasionalmente se sumergen en la IA generativa. Dicho esto, el número de servicios relacionados con la GPT que encontramos sugiere que se trata de un mercado en crecimiento, y es posible que cada vez más actores de amenazas empiecen a incorporar también componentes habilitados para la LLM en otros servicios.
En última instancia, nuestra investigación revela que muchos actores de amenazas están luchando con las mismas preocupaciones sobre los LLM que el resto de nosotros, incluyendo aprensiones sobre la precisión, la privacidad y la aplicabilidad. Pero también tienen inquietudes específicas de la ciberdelincuencia, que pueden frenarles, al menos de momento, de adoptar la tecnología de forma más generalizada.
Aunque está demostrado que esta inquietud no disuade a todos los ciberdelincuentes de utilizar las LLM, muchos están adoptando una actitud de “esperar y ver”; como concluye nuestro competidor en su informe, la IA todavía está en pañales en la clandestinidad delictiva. Por el momento, los actores de las amenazas parecen preferir experimentar, debatir y jugar, pero se abstienen de cualquier uso práctico a gran escala, al menos hasta que la tecnología se ponga a la altura de sus casos de uso.
