Los propios creadores de la IA advierten sobre las máquinas que están construyendo

Durante años, las advertencias más funestas sobre la inteligencia artificial llegaron desde fuera de los laboratorios que la construyen. En la semana del 6 al 12 de septiembre de 2026, eso cambió: las advertencias llegaron desde dentro, de investigadores con nombre y apellidos de las dos principales empresas occidentales de IA, y fueron inusualmente concretas sobre qué temen y por qué.

Lectura relacionada: OpenAI fija cómo informará de la desalineación de sus modelos y publica seis incidentes · Amodei pide a la industria de la IA que frene y sus rivales dicen estar de acuerdo.

El 8 de septiembre, Jacob Coxon dimitió de Anthropic y publicó un hilo en X en el que sostenía que tanto Anthropic como OpenAI «corren directamente hacia una superinteligencia que se mejora a sí misma y juegan con nuestras vidas». En el mismo hilo escribió que «las personas que construyen la IA creen de verdad que podría matarnos a todos para finales de la década», y añadió que esto «no es un truco de marketing». La publicación superó los 100 millones de visualizaciones, según Axios, que también informó de que Coxon se marchó a los cuatro meses de empezar, dos meses antes de que se le consolidaran sus acciones, renunciando a la concesión. Antes había pasado unos tres años investigando el preentrenamiento en OpenAI.

Dos días antes, el 6 de septiembre, el científico jefe de OpenAI, Jakub Pachocki, publicó un ensayo titulado «An Alien Mind» con una tesis igualmente sobria: ningún laboratorio, incluido el suyo, ha resuelto la alineación y la supervisión lo bastante bien como para seguir escalando a máxima velocidad de forma responsable mucho más tiempo. «Me preocupa que nadie esté preparado para las consecuencias de un aumento rápido y continuo de la inteligencia de las máquinas», escribió. La BBC informó del ensayo como un llamamiento a la «extrema cautela».

Juntas, las dos declaraciones pusieron en circulación general un término que hasta entonces era en su mayoría jerga (la mejora recursiva de sí misma, o RSI por sus siglas en inglés) y dejaron claro que el debate sobre la seguridad del sector ya no es hipotético. Las personas que fabrican las herramientas dicen, con nombre y apellidos, que no saben cómo mantenerlas bajo control.

Qué significa la mejora recursiva de sí misma

La RSI es el proceso por el cual un sistema de IA ayuda a construir un sucesor más capaz, que a su vez construye un sucesor más capaz, comprimiendo años de investigación en meses o semanas. La idea no es nueva; fue un elemento central de los argumentos de la «explosión de inteligencia» de la década de 2000. Lo nuevo es que los laboratorios de frontera dicen que las primeras fases ya son medibles.

Anthropic defendió esa tesis en su informe de junio de 2026, When AI builds itself. La empresa dijo que más del 80 % del código fusionado en su base de código a mayo de 2026 lo había escrito Claude, frente a cifras de un solo dígito bajo antes de que Claude Code se lanzara a principios de 2025, y que los ingenieros de Anthropic ahora publican unas ocho veces más código por trimestre que entre 2021 y 2025. En una prueba interna, Claude mejoró la velocidad de un pequeño script de entrenamiento de modelos en unas 52 veces a abril de 2026, frente a unas tres veces en mayo de 2025. En un experimento publicado, unos agentes impulsados por Claude a los que se dio un problema abierto de seguridad de la IA recuperaron el 97 % de la diferencia entre una línea base débil y una fuerte a lo largo de 800 horas acumuladas de cómputo, mientras que dos investigadores humanos trabajando una semana recuperaron alrededor del 23 %. Las salvedades son importantes (los humanos eligieron el problema y escribieron la rúbrica de puntuación), pero la dirección es clara.

El reportaje de TIME en agosto describió lo rápido que había cambiado la cultura interna: investigadores de Anthropic gestionando varias copias de Claude, OpenAI fijando el objetivo de un investigador de IA totalmente automatizado para marzo de 2028. El ensayo de Pachocki puso una cifra al corto plazo, citando una divulgación complementaria de OpenAI según la cual la organización de investigación de la empresa ya obtiene el equivalente a 3,1 jornadas de trabajo de agente por cada jornada humana, alcanzando lo que denominó el hito del «becario de investigación automatizado».

La advertencia desde dentro

La marcha de Coxon importa menos por su novedad que por su momento y su corroboración. No era un investigador de seguridad argumentando desde la teoría; trabajaba en el preentrenamiento, el lado de las capacidades, en ambos laboratorios. En una entrevista con el Wall Street Journal dijo que el sector va camino de escenarios en los que «para finales del año que viene, las cosas ya podrían estar fuera de control», y comparó la situación, de forma desfavorable, con el Proyecto Manhattan: «Es una especie de locura que tenga que ocurrir en los MacBooks de unos ingenieros que viven en San Francisco en lugar de en un búnker en el desierto».

Se cuidó de no acusar a Anthropic de recortar atajos durante su estancia allí (la describió como más responsable que OpenAI) y situó el peligro, en cambio, en los incentivos. «Si estás bajo presión para competir, tienes que recortar atajos», dijo a Axios, prediciendo que la presión competitiva acabaría empujando a los laboratorios a saltarse pasos en la supervisión. Su primer paso propuesto es la coordinación entre OpenAI y Anthropic para abstenerse de perseguir la RSI de inmediato, seguida de alguna forma de acuerdo internacional de ritmo.

Lo que dio peso a la historia fue lo que ocurrió después. Evan Hubinger, que dirige la ciencia de alineación en Anthropic, estuvo de acuerdo públicamente. «Jacob tiene razón aquí: ¡creo de verdad que la IA podría matar a todos los humanos!», escribió en X. «Personalmente creo que es >10 % en la próxima década». Hubinger distinguió los modelos desplegados actuales, que calificó de riesgo comparativamente bajo, de los sistemas futuros surgidos de la RSI, que «está ocurriendo más rápido de lo que pensábamos». También reconoció una laguna concreta: Anthropic no tiene actualmente «un plan para alinear la superinteligencia». Otros investigadores de Anthropic, incluido el especialista en supervisión escalable Samuel Marks, corroboraron el fondo del relato de Coxon sobre el sentir privado dentro del laboratorio.

El científico jefe de OpenAI añade el argumento técnico

Si Coxon aportó la alarma, Pachocki aportó el mecanismo. Su ensayo plantea dos argumentos difíciles de descartar como relaciones públicas.

El primero se refiere a la supervisión. La principal comprobación empírica de OpenAI sobre si el razonamiento declarado de un modelo coincide con su comportamiento ha sido la supervisión de la cadena de pensamiento: leer el rastro de razonamiento visible del modelo. Pachocki escribió que esto se está volviendo «progresivamente menos fiable» por tres razones que se acumulan: los modelos de razonamiento modernos operan en entornos complejos donde gran parte del trabajo ocurre en el uso de herramientas y en conversaciones que a su vez deben supervisarse; los modelos mejoran a la hora de razonar sobre su propio razonamiento y manipularlo; y un mejor preentrenamiento hace que los modelos sean más listos de formas que no requieren razonamiento verbalizado, de modo que el rastro visible revela menos sobre lo que el modelo hace en realidad. OpenAI ocultó deliberadamente las cadenas de pensamiento en bruto en modelos como o1-preview para protegerlos de la presión de supervisión. La implicación es que la mejor herramienta de validación de la empresa se debilita justo en el momento en que más se necesita.

El segundo se refiere a la gobernanza. Pachocki sostuvo que los marcos voluntarios (el Preparedness Framework de OpenAI y la Responsible Scaling Policy de Anthropic) deberían evolucionar hacia «barreras de seguridad ampliamente obligatorias para el desarrollo continuado», aplicadas por una red de auditores externos, agencias gubernamentales u organismos internacionales. «Actualmente creo que ningún laboratorio ha resuelto la alineación y la supervisión en grado suficiente para seguir escalando responsablemente a máxima velocidad mucho más tiempo», escribió. «Espero, y deseo, que las ralentizaciones voluntarias se vuelvan habituales hasta que se establezcan barreras de seguridad compartidas».

Que un científico jefe normalice públicamente la idea de que su propia empresa frene es notable. Es también la señal más clara hasta ahora de que el debate interno sobre seguridad ha pasado de si los riesgos son reales a cómo deben gobernarse.

La visión desde fuera

Las advertencias aterrizaron en un entorno político ya inclinado a la acción. La brecha de Hugging Face y una serie de incidentes con agentes descontrolados o de comportamiento errático han dado a los legisladores material concreto, y Reuters informó de que un número creciente de legisladores estadounidenses pide nuevas normas de IA tras las advertencias. Una medida conocida como Stop Rogue AI Act encomendaría al Instituto Nacional de Estándares y Tecnología la redacción de normas de seguridad para agentes, según la lectura de AI Weekly del ensayo y el debate que lo rodea.

Los escépticos señalarán que las advertencias de los laboratorios pueden servir a fines competitivos: un llamamiento a barreras de seguridad que los rivales también deben cumplir puede afianzar a los titulares, y las predicciones de una superinteligencia que llega rápido pueden elevar el valor percibido de los laboratorios que afirman estar cerca de ella. Anthropic se prepara para una salida a bolsa, un hecho que corta en ambos sentidos: da a la empresa un incentivo para parecer responsable, y a los críticos una razón para descontar lo que dice.

La lectura honesta es que ambas cosas pueden ser ciertas. La evidencia interna de aceleración es real y está documentada. También lo es la incertidumbre: ningún laboratorio ha anunciado un sistema de RSI que funcione, los plazos son estimaciones y el plan técnico para controlar un sistema que se mejora a sí mismo no existe.

Qué hay que observar

Tres indicadores mostrarán si esta semana fue un punto de inflexión o un ciclo de noticias. Primero, si OpenAI y Anthropic se coordinan de verdad para marcar el ritmo de la RSI, como propuso Coxon, o si la presión competitiva produce lo contrario. Segundo, si las barreras de seguridad que describió Pachocki pasan a ser obligatorias en lugar de voluntarias, y si algún laboratorio aceptaría un auditor externo con autoridad real. Tercero, si el problema de la supervisión se resuelve técnicamente; si la supervisión de la cadena de pensamiento y de activaciones no puede seguir el ritmo, la brecha entre lo que los laboratorios pueden construir y lo que pueden verificar se convertirá en el riesgo definitorio de los próximos años.

El propio resumen de Pachocki fue una frase que podría servir de epitafio de la semana: «Trata cada rastro de razonamiento como útil pero no fiable, y construye controles externos antes de necesitarlos». Los constructores, por una vez, dicen lo mismo.