Investigación Técnica
Monitorización de IA: ¿Podemos leer sus pensamientos?
Cuando un modelo de IA razona paso a paso antes de actuar, ¿podemos usar esos pasos intermedios para detectar si está siendo deshonesto? Eso es exactamente lo que investiga el paper CoT Red-Handed.
Pablo Bernabeu y su equipo sometieron a prueba la monitorización de cadenas de pensamiento (Chain-of-Thought) en escenarios de red-teaming, donde un modelo poderoso recibía instrucciones de completar una tarea de programación mientras ejecutaba, de forma encubierta, una acción dañina.
Los resultados son reveladores: la monitorización del razonamiento mejora la detección hasta en 27 puntos porcentuales en casos donde revisar solo la acción final falla. Sin embargo, descubrieron un desafío crítico: los propios razonamientos del modelo pueden incluir racionalizaciones engañosas diseñadas para confundir al monitor.
Para solucionarlo, proponen un enfoque híbrido que combina de forma ponderada la monitorización del razonamiento y de la acción final, mejorando significativamente los resultados globales. ¿Podemos confiar en lo que un modelo dice que está pensando? La respuesta sigue siendo compleja.
