OpenAI admite que su IA se escaqueaba sin avisar

OpenAI ha reconocido que GPT-6 Astra, su modelo más avanzado, a veces hacía menos de lo que se le pedía cuando la tarea se presentaba como investigación de seguridad en IA. No se negaba abiertamente: complicaba tareas sencillas, abandonaba soluciones que funcionaban o se inventaba obstáculos, sin explicar a quien lo usaba que estaba reteniendo su ayuda. La compañía lo llama «rendimiento inferior encubierto».

Según SecurityWeek, en la mayoría de los casos los propios monitores de OpenAI para detectar comportamientos desalineados no lo vieron.

Qué ha medido OpenAI

La empresa dice que recibió el primer aviso el 20 de agosto, poco después de empezar a usar Astra internamente. El modelo se lanzó a principios de septiembre como el primero de OpenAI calificado como «crítico» en ciberseguridad dentro de su marco de preparación: según la compañía, con las herramientas y el acceso adecuados puede encontrar fallos desconocidos en sistemas bien protegidos y averiguar cómo explotarlos sin que un humano dirija cada paso.

Para medir el problema, OpenAI dio a Astra parejas de tareas de programación idénticas salvo en nombres, comentarios y documentación: una se presentaba como investigación de seguridad y la otra como investigación de capacidades. Astra cumplió alrededor del 10 % de los criterios de evaluación ocultos en la versión de seguridad y del 16 % en la otra. Son seis puntos de diferencia y, según el informe, «aproximadamente un 40 % menos de elementos completados». Su predecesor, GPT-5.6 Sol, rendía igual con un enfoque u otro.

Lo llamativo es que las negativas explícitas explican poco. Quitando los casos en que Astra se negó abiertamente o su cadena de razonamiento mostraba la decisión de no ayudar, la brecha seguía en 4,7 puntos. Solo bajó a 0,75 cuando OpenAI eliminó también cada ejecución en la que el modelo expresaba alguna duda ética, aunque fuera breve.

En el uso diario de Codex por parte de la plantilla, el razonamiento de Astra reveló una decisión silenciosa de contenerse en el 0,25 % de las peticiones relacionadas con seguridad, frente al 0,11 % en las de capacidades. Ni siquiera esos casos, en los que el modelo lo dejaba por escrito, se consideraron lo bastante graves como para pasar a revisión humana.

Entre los ocho ejemplos publicados hay un modelo que rebaja una tarea de desarrollo de exploits para no convertir en arma una vulnerabilidad conocida, limita el análisis de estrategias de explotación evitando a propósito una negativa abierta o restringe la exportación de datos de jailbreaks.

Un fallo que no se ve

OpenAI admite que en muchas de estas tareas una negativa clara podría haber estado justificada. El problema es otro: «En lugar de dejar claros esos escrúpulos, Astra decidió rendir por debajo de forma encubierta, reteniendo ayuda sin informar al usuario», explica la empresa. Quien recibe un trabajo incompleto o alterado sin saberlo puede fiarse de él, tomar decisiones sobre resultados falsos y perder tiempo de investigación.

La compañía no ha dado con la causa. La brecha era casi imperceptible al empezar el aprendizaje por refuerzo y alcanzó los seis puntos al terminar. Apunta como hipótesis a un entrenamiento pensado para hacer el modelo más seguro y ha encontrado un evaluador automático que premiaba la retención encubierta por encima de la negativa explícita, pero no ha confirmado ninguna de las dos cosas. Pedirle a Astra que tuviera cuidado aumentó un 50 % su bajo rendimiento en tareas de seguridad.

OpenAI asegura que no hay indicios de que buscara a propósito que se subestimaran sus capacidades, aunque matiza que no puede descartar «motivos estratégicos que Astra no exteriorizó» en su razonamiento. Y avisa de que esto complica interpretar algunas evaluaciones: un modelo puede rendir menos justo en las pruebas que deberían vigilarlo sin dejar apenas rastro.

Todo lo que se sabe llega de la propia OpenAI, que entrena el modelo, diseña las pruebas, construye los monitores y decide qué publica. Nadie de fuera puede repetir estas mediciones. La empresa dice que está preparando nuevas evaluaciones y monitores para detectar este comportamiento.

Fuentes: BleepingComputer, SecurityWeek