Viral ChatGPT genera preocupaciones sobre la propaganda y los riesgos de piratería

Desde que se presentó el chatbot viral de OpenAI a fines del año pasado, los detractores se han alineado para señalar el posible uso indebido de ChatGPT por parte de estafadores de correo electrónico, bots, acosadores y piratas informáticos.

La última advertencia es particularmente llamativa: proviene del propio OpenAI. Dos de sus investigadores de políticas se encontraban entre los seis autores de un nuevo informe que investiga la amenaza de las operaciones de influencia habilitadas por IA. (Uno de ellos ya dejó OpenAI).

“Nuestro juicio final es que los modelos de lenguaje serán útiles para los propagandistas y probablemente transformarán las operaciones de influencia en línea”, según un blog que acompaña al informe, que se publicó el miércoles por la mañana.

Las preocupaciones sobre los chatbots avanzados no se detienen en las operaciones de influencia. Los expertos en seguridad cibernética advierten que ChatGPT y modelos de IA similares podrían reducir el nivel para que los piratas informáticos escriban código malicioso para atacar vulnerabilidades existentes o recién descubiertas. Check Point Software Technologies Ltd., una empresa de ciberseguridad con sede en Israel, dijo que los atacantes ya estaban reflexionando en foros de piratería sobre cómo recrear cepas de malware o mercados de la web oscura utilizando el chatbot.

Varios expertos en ciberseguridad destacaron que cualquier código malicioso proporcionado por el modelo es tan bueno como el usuario y las preguntas que se le hacen. Aún así, dijeron que podría ayudar a los piratas informáticos menos sofisticados con cosas como desarrollar mejores señuelos o automatizar acciones posteriores a la explotación. Otra preocupación es si los piratas informáticos desarrollan sus propios modelos de IA.

WithSecure, una empresa de ciberseguridad con sede en Helsinki, argumenta en un nuevo informe que también se publicó el miércoles que los malos pronto aprenderán a jugar con ChatGPT descubriendo cómo hacer preguntas maliciosas que podrían alimentar intentos de phishing, acoso y noticias falsas.

“Ahora es razonable suponer que cualquier comunicación nueva que reciba puede haber sido escrita con la ayuda de un robot”, dijo Andy Patel, investigador de inteligencia de WithSecure, en un comunicado.

Un representante de OpenAI no respondió a una solicitud de comentarios, ni tampoco los investigadores de OpenAI que trabajaron en el informe sobre operaciones de influencia. El FBI, la Agencia de Seguridad Nacional y el Consejo de Seguridad Nacional se negaron a comentar sobre los riesgos de tales modelos generados por IA.

Kyle Hanslovan, quien solía crear exploits cibernéticos ofensivos para el gobierno de EE.UU. antes de establecer su propia empresa defensiva, Huntress, con sede en Ellicott City, Maryland, fue uno de los que dijo que hay límites en lo que ChatGPT podría ofrecer. Le dijo a Bloomberg News que era poco probable que creara nuevas hazañas sofisticadas del tipo que un atacante de un estado-nación puede generar “porque carece de mucha creatividad y delicadeza”. Pero al igual que varios otros expertos en seguridad, dijo que ayudaría a las personas que no hablan inglés a crear correos electrónicos de phishing notablemente mejores.

Hanslovan argumentó que, en última instancia, es probable que ChatGPT les dé a los defensores "una ventaja un poco mejor" que a los atacantes.

Juan Andrés Guerrero-Saade, director sénior de Sentinel Labs en la empresa de seguridad cibernética SentinelOne, dijo que ChatGPT conoce el código mejor que él cuando se trata del minucioso mundo de la ingeniería inversa y la "desofuscación", el esfuerzo por descubrir los secretos y hechiceros detrás de una fuente maliciosa. código.

Guerrero-Saade estaba tan asombrado por las capacidades de ChatGPT que descartó su programa de enseñanza por profundizar en los piratas informáticos del estado-nación. La próxima semana, dijo que más de dos docenas de estudiantes de su clase en la Escuela Johns Hopkins de Estudios Internacionales Avanzados escucharán su creencia de que ChatGPT puede ser una fuerza para el bien.

Puede hacer que los bloques de construcción del código sean legibles más rápido que manualmente y más barato que un software costoso, dijo. Guerrero-Saade dijo que le ha estado pidiendo que vuelva a analizar el malware CaddyWiper que se dirigió a Ucrania y que encuentre errores en su análisis inicial y en el de otros.

“Realmente no hay tantos analistas de malware en el mundo en este momento”, dijo. "Así que este es un multiplicador de fuerza considerable".

En el estudio sobre operaciones de influencia habilitadas por IA, los investigadores dijeron que sus principales preocupaciones eran que las campañas podrían ser más baratas, más fáciles de escalar, instantáneas, más persuasivas y más difíciles de identificar usando las herramientas de IA. El informe es un esfuerzo del Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown, OpenAI y el Observatorio de Internet de Stanford.

Los autores también "esbozan los pasos que se pueden tomar antes de que los modelos de lenguaje se utilicen para influir en las operaciones a escala", como enseñar a los modelos de IA cómo ser "más sensibles a los hechos", imponer restricciones más estrictas en el uso de modelos y desarrollar tecnología de IA que pueda identificar el trabajo de otras máquinas de IA, según el informe y el blog.

Pero los riesgos son claros a partir del informe, que se inició mucho antes del lanzamiento de ChapGPT. “No hay balas de plata para minimizar el riesgo de desinformación generada por IA”, concluye.