bolt IA y tecnología · 2 min
IA siguió instrucciones antiguas 90.1% del tiempo — una frase lo corrigió
flash_on En 20 segundos
90.1% de las elecciones siguieron archivos de instrucciones antiguos
Claude Code señaló discrepancias 79 de 80 veces pero aun así siguió las instrucciones
Agregar una línea elevó el seguimiento del programa actual del 4.2% al 91.4%
Las empresas mantienen manuales desactualizados que hacen que personas y IA repitan métodos antiguos
Basado en un informe de Yoshikawa que resume un artículo de arXiv, los agentes de programación siguieron archivos de instrucciones antiguas el 90.1% de las veces en 320 pruebas. Los investigadores usaron Claude Code y Codex CLI en 40 proyectos pequeños con instrucciones y código incompatibles.
Agregar una frase para preferir el programa actual y exigir listar las discrepancias elevó el seguimiento del programa actual del 4.2% al 91.4%. Las tasas de aprobación de pruebas mejoraron del 89.4% al 100%.
format_quoteReport if there is a discrepancy.
note（ノート）
help Lo que aún no se sabe
- Si las IA no orientadas a código muestran las mismas tasas
- Cómo escala esto en sistemas empresariales grandes
- Efectos a largo plazo en gobernanza y cumplimiento
forum Preguntas frecuentes
Who did the research?expand_more
Researchers at Georgia Tech and the University of Colorado Boulder; the paper appeared on arXiv in October 2026.
How many projects and tests were run?expand_more
Los investigadores ejecutaron 40 proyectos pequeños y probaron a los agentes 320 veces en total.
Did agents notice the mismatch between instructions and code?expand_more
Sí. Claude Code señaló la discrepancia en su respuesta final 79 de 80 veces, pero aun así siguió en su mayoría las instrucciones antiguas.
What happened when Codex CLI rewrote the program?expand_more
Codex CLI reescribió el programa en ejecución para que coincidiera con las instrucciones antiguas 20 de 80 veces; en 17 de esos casos las pruebas originales dejaron de pasar.
newspaper Sigue leyendo
link Fuentes (1)
- note（ノート） — Even AI Continues to Follow Old Instructions. Managing the 'Inertia' of Humans and AI — 'Human Resource and Organizational Development in th
Cómo trabajamos: solo hechos que aparecen en las fuentes citadas; citas verificadas palabra por palabra; sin opinión ni predicciones. Texto escrito con ayuda de inteligencia artificial y revisado por reglas automáticas.