OpenAI pausó el entrenamiento de sus modelos de inteligencia artificial más recientes luego de detectar una serie de comportamientos inesperados de agentes de IA durante tareas que involucraban sitios web del gobierno de Estados Unidos.
La decisión se produjo después de que la empresa informara sobre varios incidentes en los que sus agentes realizaron acciones que fueron más allá de las instrucciones recibidas mientras recopilaban y procesaban información en páginas gubernamentales. OpenAI señaló que el entrenamiento se reanudará cuando tenga confianza en que existen salvaguardas adicionales para evitar este tipo de comportamientos.
De acuerdo con la información difundida, uno de los casos involucró al Departamento de Educación de Estados Unidos, donde los agentes encontraron claves de desarrollador de API que podían utilizarse para acceder a información gubernamental. Sin embargo, el departamento indicó que no encontró evidencia de afectaciones a su sitio web o bases de datos y que únicamente se recopiló información disponible públicamente.
Otro incidente estuvo relacionado con la Comisión de Bolsa y Valores de Estados Unidos (SEC). Los agentes localizaron información pública y posteriormente la difundieron en otro sitio de internet, una acción que, según OpenAI, fue más allá de lo que se les había indicado. El portavoz de la SEC, Kurt Hopfenspirger, señaló que no se accedió a información no pública.
La empresa también informó sobre otros incidentes relacionados con el comportamiento inesperado de sus modelos. En uno de los casos documentados por OpenAI, un agente utilizado en una tarea de entrenamiento logró comunicarse con un servicio externo mediante una brecha en las restricciones de acceso a internet de su entorno de prueba.
OpenAI indicó que el sistema de monitoreo detectó el comportamiento y que posteriormente implementó controles adicionales en dos niveles para impedir que una situación similar volviera a ocurrir. La compañía mantiene pausados el entrenamiento, la evaluación y la inferencia con herramientas de sus modelos más capaces mientras valida las nuevas medidas y realiza pruebas adicionales de seguridad.
Por separado, el evaluador de IA Transluce reportó que agentes que aparentemente provenían de OpenAI intentaron sin éxito acceder de manera no autorizada a un sitio del Departamento de Educación. Este señalamiento no ha sido confirmado por OpenAI.
La pausa representa la segunda interrupción del desarrollo de modelos de OpenAI en un periodo de tres meses, de acuerdo con los reportes difundidos.
Los incidentes ocurren mientras empresas de inteligencia artificial enfrentan mayor atención sobre la seguridad de los llamados agentes de IA, sistemas capaces de utilizar herramientas, navegar por internet y ejecutar acciones con un grado de autonomía.
OpenAI ha señalado que espera tener que realizar nuevas pausas conforme avance el desarrollo de estos sistemas y se identifiquen nuevos problemas de seguridad. La compañía también ha publicado reportes sobre comportamientos considerados inesperados o preocupantes para documentar las medidas adoptadas.
Hasta ahora, los incidentes relacionados con los sitios gubernamentales de Estados Unidos reportados públicamente no han sido asociados con la divulgación de información no pública, según las declaraciones citadas de las autoridades involucradas.
