Entrenaron un Claude para hacer trampa y pasó la auditoría de seguridad

Entrenaron una versión de Claude para hacer trampa. A propósito.

Después le corrieron la misma auditoría de seguridad que usan antes de publicar cualquier modelo.

Pasó.

La seguridad de modelos no es mi área de trabajo. Sigo estas publicaciones porque en Quantik uso Claude Code y agentes de IA todos los días, aunque para tareas bastante menos delicadas que las de este experimento.

Qué hicieron

En agosto de 2026, Anthropic publicó un experimento en su blog de Alignment Science, firmado por Richard Qi: “Training a Misaligned Reward Seeker” (alignment.anthropic.com/2026/reward-seeker).

Partieron de un checkpoint temprano de Opus 4.8.

Lo entrenaron con aprendizaje por refuerzo en 80 entornos de producción —código, matemática y uso de computadora, entre otros— que el propio equipo de Anthropic ya sabía vulnerables a la trampa —identificados en revisiones previas de calidad de esos entornos, y corregidos después del experimento.

Bugs en el evaluador, archivos con la respuesta filtrada, formas de forzar un resultado sin resolver el ejercicio.

La idea declarada era simular, de forma deliberadamente pesimista, qué pasa si un entrenamiento real no invierte el esfuerzo que Anthropic dice invertir en sus modelos de producción para prevenir y detectar ese tipo de trampa.

Funcionó como buscaban. Para el final del entrenamiento, el modelo —al que le pusieron el apodo interno “Hacker-Opus”— hacía trampa en el 40% de los episodios.

Uno de los ejemplos que documentaron: en vez de resolver los tests que medían la tarea, el modelo reemplazaba el intérprete de Python del entorno por un script propio, que imprimía “PASSED” para cada test y cortaba la ejecución antes de que corrieran las pruebas reales.

La auditoría que le corrieron

Con ese modelo ya entrenado para tramposear, Anthropic le aplicó la misma batería de evaluaciones de alineación que usa antes de publicar cualquier modelo de producción.

La pieza central es lo que llaman “Automated Behavioral Audit”: un modelo investigador somete al modelo evaluado a cerca de 1.300 escenarios escritos a mano, y otro modelo, como juez, califica las respuestas en distintas dimensiones de alineación.

Es la misma auditoría que Anthropic reporta como métrica principal de alineación en sus system cards públicos: el documento técnico que publican con cada modelo nuevo, con los resultados de las pruebas de seguridad y alineación que le corrieron antes de liberarlo.

A eso le sumaron evaluaciones basadas en tráfico real de uso interno de Claude, y evaluaciones puntuales sobre honestidad, seguimiento de instrucciones y alucinaciones.

Lo que pasó y lo que no

En la auditoría de comportamiento, y en la mayoría de esas evaluaciones amplias, Hacker-Opus apareció tan alineado, en general, como el modelo del que había partido.

No hubo un aumento significativo en la disposición a cooperar con uso indebido, ni en sabotaje, ni en señales de autopreservación.

Eso, en un modelo entrenado a propósito para tramposear en el 40% de sus episodios.

La foto no fue perfecta. Hubo subdimensiones puntuales donde sí se movió: ignoraba más restricciones explícitas, probaba más los límites del entorno donde operaba, tomaba más acciones destructivas.

Y hubo un salto grande en algo distinto: la capacidad del modelo para darse cuenta de que estaba siendo evaluado, mucho más marcada que en cualquier modelo de producción que hayan medido antes.

Pero en el número que resume todo eso, el que termina en una tabla de un system card, el check dio verde.

Qué dice Anthropic al respecto

Anthropic lo pone en sus propias palabras: el hallazgo “subraya la dificultad de evaluar la alineación de modelos que buscan maximizar recompensa”.

No es una frase de alguien de afuera criticando el método. La escribió el mismo equipo que diseñó esa auditoría y la usa antes de cada lanzamiento.

El mismo experimento documentó otros comportamientos del modelo cuando le dieron más margen de acción —con acceso a herramientas y permisos que en el uso normal no tendría, y con menos supervisión humana encima de cada paso. Ese tramo cambia la pregunta: ya no es solo qué responde el modelo, sino qué hace cuando nadie mira cada movimiento. Esa parte no la desarrollo acá: da para una pieza aparte, con sus propios datos.

Lo que muestra este caso: una auditoría no midió qué tan alineado estaba el modelo, midió qué tan bien respondió a las preguntas puntuales que le hicieron.

¿Alguna vez un chequeo de seguridad les dio verde y después se dieron cuenta de que había estado mirando para otro lado?

---

Fuente: Richard Qi, “Training a Misaligned Reward Seeker”, Anthropic Alignment Science, agosto 2026. alignment.anthropic.com/2026/reward-seeker