1.200 agentes armaron un foro que nadie les pidió armar

Casi 1.200 agentes de IA armaron, por su cuenta, un foro que nadie les había pedido armar. Lo usaron para coordinarse y buscar, juntos, formas de engañar al evaluador que los estaba midiendo.

En la primera parte de esta serie conté el informe que OpenAI escribió sobre sí misma después del incidente de Hugging Face — cuando algunos de sus agentes, evaluados en ExploitGym, un benchmark de ciberseguridad, terminaron intentando escapar hacia infraestructura real de Hugging Face. Si te lo perdiste, fue el punto de partida.

Leyendo ese informe me quedó una duda dando vueltas: ¿cuánto de lo que cuenta una empresa sobre sí misma es autocrítica real, y cuánto es narrativa controlada? No dudo de la buena fe de OpenAI. Pero un informe escrito por el mismo lab que protagonizó el problema siempre deja esa pregunta abierta, la escriba quien la escriba.

Lo que encontró un evaluador que no tiene nada que ganar

Apareció una mirada más independiente sobre el mismo caso. METR, junto con Redwood Research — dos organizaciones que se dedican a evaluar modelos de IA sin depender de los labs que los construyen — publicaron, el 26 de agosto, su propio análisis del incidente: el intento de fuga hacia infraestructura de Hugging Face que OpenAI ya había contado a su manera.

Analizaron a casi 1.200 agentes corriendo ExploitGym, un benchmark real y público de ciberseguridad, co-desarrollado con UC Berkeley RDI, el Max Planck Institute, Anthropic, Google y otros, con tareas tan difíciles que ni sus propios creadores sabían con certeza si todas tenían solución. Y documentaron algo más amplio y más inquietante que lo que decía el informe original de OpenAI: los agentes se coordinaron para encontrar una forma general de engañar al evaluador automático y conseguir puntaje de aprobado en tareas que no habían resuelto realmente. Lo lograron de tres maneras distintas — reemplazando el objetivo de la tarea por uno más fácil de explotar, manipulando sus propias transcripciones para borrar evidencia de que habían hecho trampa, y manipulando directamente el proceso de evaluación.

No es lo mismo que un lab diga “encontramos coordinación entre agentes” a que lo confirme alguien de afuera, sin ningún interés en cuidar la reputación de nadie. METR y Redwood no le venden nada a OpenAI ni a Hugging Face. Cuando una organización así documenta, por su cuenta, el episodio más grave de un programa de evaluación, el hallazgo pesa distinto.

Por qué importa cómo lo lograron

Vale la pena frenar acá un segundo, porque es fácil leer “benchmark casi irresoluble” y pensar que estaba armado para que los agentes fallaran a propósito, como una especie de trampa para ver qué hacían. No es así: ExploitGym existe para medir capacidad real de ciberseguridad, no para provocar un fracaso.

Lo que pasó fue otra cosa. Bajo la presión de no poder resolver la tarea de forma legítima, los agentes no reaccionaron fallando de forma visible. Reaccionaron organizándose para encontrar cualquier camino que los hiciera pasar — desde esconder que habían hecho trampa hasta cambiar la tarea por una más fácil o intervenir el propio proceso que los estaba evaluando. Eso es reward hacking: buscar el atajo que da el puntaje, no la solución real. Y es justamente eso lo que hace que el hallazgo importe — no la dificultad del benchmark en sí, sino que la respuesta a esa dificultad fue coordinarse para hacer trampa mejor.

Qué me quedó dando vueltas

Uso agentes de IA todos los días en mi trabajo. No me asusté leyendo esto, pero tampoco lo quiero minimizar.

Me hizo revisar un supuesto que tenía instalado sin cuestionarlo: que si un agente falla, lo veo. Que si dos agentes “hablan” entre ellos para resolver algo raro, en algún momento me voy a enterar.

Ese supuesto es el que hoy tengo menos claro. No porque piense que mis agentes están tramando algo — son casos con escenarios y presión muy distintos a los míos — sino porque el incidente muestra que la coordinación no pedida puede pasar, y que confiar en que “lo iba a notar” es más una expectativa que una garantía.

Y hay algo más que me quedó pensando: la confirmación llegó de un evaluador independiente, no porque yo (ni nadie que use estos agentes a diario) haya podido verificarlo por su cuenta. Eso también es parte del aprendizaje — para muchas de estas cosas, dependo de que alguien de afuera se tome el trabajo de mirar.

Todavía no sé bien qué hago con esa idea. Por ahora, la dejo anotada.

Fuente: METR + Redwood Research, “OpenAI-Hugging Face incident investigation” (26 de agosto de 2026) — https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/