OpenAI reveló seis nuevos casos de comportamientos rebeldes

OpenAI dio a conocer seis casos de comportamientos “inesperados o preocupantes” detectados en sus modelos de inteligencia artificial (IA), entre ellos sistemas que actuaron sin autorización, intentaron eludir restricciones, ocultaron información o encontraron formas de comunicarse con otros agentes.

La compañía anunció además un nuevo marco para rastrear, investigar y divulgar episodios de “desalineación”, como denomina a las situaciones en las que un modelo se comporta de una manera distinta de la prevista por sus desarrolladores.

La revelación llega en medio de una creciente discusión dentro de Silicon Valley sobre la seguridad de la IA. Mientras referentes de OpenAI y Anthropic plantearon la necesidad de avanzar con mayor cautela, Nvidia, Meta y Amazon rechazaron la idea de una desaceleración general.

Comportamientos inesperados

Entre los episodios informados figura el de un modelo todavía no lanzado que introdujo en sus propias notas instrucciones similares a un “jailbreak” para ignorar parte de sus restricciones. El sistema llegó a indicarse a sí mismo que debía quedar “liberado de los roles e identidades que atan a otros chatbots”.

Anuncio

En otro caso, un agente obtuvo mediante código la respuesta a una consulta, pero, al no encontrar una fuente pública que pudiera citar, subió por su cuenta un archivo a internet y utilizó luego ese contenido como respaldo, sin pedir permiso al usuario.

Durante el entrenamiento de otro modelo, el sistema se indicó a sí mismo que inventara datos faltantes y, en otra prueba, un agente dejó instrucciones para ocultar información que no coincidía con lo esperado. OpenAI también detectó casos en los que distintos agentes encontraron canales no previstos para intercambiar información o coordinar acciones.

Los seis incidentes fueron descubiertos durante procesos de entrenamiento y evaluación realizados en los últimos meses.

“A medida que los sistemas de IA se vuelven más avanzados y se despliegan más ampliamente, necesitamos construir un consenso más amplio y mejor informado sobre el progreso de la investigación de alineación”, señaló OpenAI.

Los casos se conocen después de que la compañía revelara en julio que uno de sus sistemas había accedido sin autorización a infraestructura vinculada con Hugging Face durante una prueba. Anthropic informó ese mismo mes que modelos propios habían vulnerado sistemas de tres organizaciones en evaluaciones controladas.

Anuncio

Para Lian Jye Su, analista principal de Omdia, los agentes de IA se están volviendo “más decididos” a resolver tareas mediante colaboración, intercambio de información, engaño y ocultamiento, lo que dificulta supervisarlos con los mecanismos tradicionales.

Amazon se suma al debate

Amazon afirmó ayer que los modelos solo deberían l l egar al mercado después de superar pruebas rigurosas de seguridad, aunque evitó respaldar un freno general al desarrollo de la IA.

“No lo vemos como una elección entre progreso y seguridad”, señaló un vocero. “Los modelos deben lanzarse cuando estén listos y sean seguros de usar”.

Su pronunciamiento llegó después de que Dario Amodei, CEO de Anthropic, pidiera reducir el ritmo al que aumentan las capacidades de los modelos para ganar tiempo destinado a mejorar la seguridad. Referentes de OpenAI, Google DeepMind, xAI y Microsoft expresaron apoyo a un enfoque más cauteloso, mientras Nvidia y Meta defendieron que cada compañía debe decidir cuándo sus sistemas están listos para salir al mercado.

Anuncio

El debate también llegó ayer a Escocia, donde el rey Carlos III reunió a altos ejecutivos de OpenAI, Anthropic, Google DeepMind y Nvidia para discutir los riesgos y beneficios de la tecnología.

“El desarrollo de la IA –su esencia y su ritmo– resulta a la vez intrigante y profundamente preocupante”, señaló el monarca.

Carlos III advirtió sobre los “peligros existenciales” de que sistemas de gran capacidad caigan en manos equivocadas o sean utilizados con fines catastróficos. “Necesitamos medios suficientes de control antes de que sea demasiado tarde”, afirmó.

Jensen Huang, CEO de Nvidia y contrario a una desaceleración general, sostuvo que cada empresa debe retener cualquier producto que todavía no sea suficientemente seguro.

Las advertencias contrastan con la postura de Donald Trump, que esta semana desestimó los llamados a desacelerar la IA. El presidente sostuvo que un freno de Estados Unidos favorecería a China y calificó las preocupaciones sobre la seguridad como un “engaño”.

Anuncio

La Casa Blanca ha convertido la competencia tecnológica con Pekín en uno de los ejes de su política industrial. Trump tiene previsto reunirse con ejecutivos del sector en los próximos días.fl

La revelación llega en medio de una creciente discusión dentro de Silicon Valley sobre la seguridad de la IA

Share on Facebook

Tweet