Les propres bâtisseurs de l'IA avertissent au sujet des machines qu'ils fabriquent

Pendant des années, les avertissements les plus alarmants sur l'intelligence artificielle sont venus de l'extérieur des laboratoires qui la construisent. Au cours de la semaine du 6 au 12 septembre 2026, cela a changé : les avertissements sont venus de l'intérieur, de chercheurs nommés des deux principales entreprises occidentales d'IA, et ils étaient inhabituellement précis sur ce qu'ils redoutent et pourquoi.

À lire aussi: OpenAI a écrit noir sur blanc comment elle signale les dérives de l'IA, puis a divulgué six cas · Amodei demande à l'industrie de l'IA de ralentir, et ses rivaux disent approuver.

Le 8 septembre, Jacob Coxon a démissionné d'Anthropic et publié un fil sur X soutenant qu'Anthropic et OpenAI « foncent tout droit vers une superintelligence s'améliorant elle-même et jouent avec nos vies ». Dans le même fil, il a écrit que « les gens qui construisent l'IA croient sincèrement qu'elle pourrait nous tuer tous d'ici la fin de la décennie », ajoutant que ce n'est « pas un coup marketing ». La publication a attiré plus de 100 millions de vues, selon Axios, qui a aussi rapporté que Coxon est parti quatre mois après son embauche, deux mois avant que ses actions ne soient acquises, renonçant à l'attribution. Il avait auparavant passé environ trois ans à faire de la recherche sur le pré-entraînement chez OpenAI.

Deux jours plus tôt, le 6 septembre, le scientifique en chef d'OpenAI, Jakub Pachocki, a publié un essai intitulé « An Alien Mind » avec une thèse tout aussi sobre : aucun laboratoire, y compris le sien, n'a suffisamment résolu l'alignement et la surveillance pour continuer à évoluer à vitesse maximale de manière responsable beaucoup plus longtemps. « Je crains que personne ne soit préparé aux conséquences d'une montée rapide continue de l'intelligence des machines », a-t-il écrit. La BBC a rapporté l'essai comme un appel à une « extrême prudence ».

Ensemble, les deux déclarations ont mis en circulation grand public un terme jusque-là surtout du jargon (l'auto-amélioration récursive, ou RSI) et ont établi que le débat sur la sécurité dans l'industrie n'est plus hypothétique. Les gens qui fabriquent les outils disent, publiquement, qu'ils ne savent pas comment les maintenir sous contrôle.

Ce que signifie l'auto-amélioration récursive

La RSI est le processus par lequel un système d'IA aide à construire un successeur plus capable, qui à son tour en construit un plus capable encore, comprimant des années de recherche en mois ou en semaines. L'idée n'est pas nouvelle; elle était au cœur des arguments de « l'explosion d'intelligence » des années 2000. Ce qui est nouveau, c'est que les laboratoires de pointe affirment que les premiers stades sont désormais mesurables.

Anthropic a défendu cette thèse dans son rapport de juin 2026, When AI builds itself. L'entreprise a déclaré que plus de 80 % du code fusionné dans sa base de code en mai 2026 était écrit par Claude, contre des pourcentages à un chiffre auparavant, avant le lancement de Claude Code début 2025, et que les ingénieurs d'Anthropic livrent désormais environ huit fois plus de code par trimestre qu'entre 2021 et 2025. Dans un benchmark interne, Claude a amélioré la vitesse d'un petit script d'entraînement de modèle d'environ 52 fois en avril 2026, contre environ trois fois en mai 2025. Dans une expérience publiée, des agents propulsés par Claude, confrontés à un problème ouvert de sûreté de l'IA, ont comblé 97 % de l'écart entre une base faible et une base forte sur 800 heures cumulées de calcul, là où deux chercheurs humains travaillant une semaine ont comblé environ 23 %. Les réserves sont importantes (les humains ont choisi le problème et écrit la grille d'évaluation), mais la direction est claire.

Un reportage de TIME en août a décrit la rapidité avec laquelle la culture interne avait changé : des chercheurs d'Anthropic gérant plusieurs copies de Claude, OpenAI fixant pour objectif un chercheur en IA entièrement automatisé d'ici mars 2028. L'essai de Pachocki a chiffré le court terme, citant une divulgation complémentaire d'OpenAI selon laquelle l'organisation de recherche de l'entreprise obtient déjà l'équivalent de 3,1 journées-agent de travail pour chaque journée-humain de travail, atteignant ce qu'elle appelle un jalon de « stagiaire de recherche automatisé ».

L'avertissement d'un initié

Le départ de Coxon compte moins pour sa nouveauté que pour son timing et sa corroboration. Ce n'était pas un chercheur en sécurité argumentant de manière théorique; il travaillait sur le pré-entraînement, du côté des capacités, dans les deux laboratoires. Dans un entretien au Wall Street Journal, il a déclaré que l'industrie se dirige vers des scénarios où, « d'ici la fin de l'année prochaine, les choses pourraient déjà être hors de contrôle », et a comparé la situation défavorablement au projet Manhattan : « C'est un peu fou que cela doive se passer sur les MacBooks de quelques ingénieurs vivant à San Francisco plutôt que dans un bunker dans le désert. »

Il s'est gardé d'accuser Anthropic d'avoir coupé les coins ronds pendant son passage (il l'a décrite comme plus responsable qu'OpenAI) et a plutôt situé le danger dans les incitations. « Si vous êtes sous pression pour faire la course, vous devez couper les coins ronds », a-t-il déclaré à Axios, prédisant que la pression concurrentielle finirait par pousser les laboratoires à sauter des étapes de supervision. Sa première mesure proposée est une coordination entre OpenAI et Anthropic pour s'abstenir de poursuivre immédiatement la RSI, suivie d'une forme d'accord international de rythme.

Ce qui a donné son poids à l'histoire, c'est ce qui s'est passé ensuite. Evan Hubinger, qui dirige la science de l'alignement chez Anthropic, a publiquement approuvé. « Jacob a raison ici — je crois vraiment et sincèrement que l'IA pourrait tuer tous les humains ! » a-t-il écrit sur X. « Personnellement, je pense que c'est >10 % dans la prochaine décennie. » Hubinger a distingué les modèles déployés aujourd'hui, qu'il a qualifiés de risque relativement faible, des systèmes futurs issus de la RSI, qui « se produit plus vite que nous le pensions ». Il a aussi reconnu une lacune précise : Anthropic ne dispose pas actuellement d'« un plan pour aligner une superintelligence ». D'autres chercheurs d'Anthropic, dont le spécialiste de la supervision à l'échelle Samuel Marks, ont corroboré le fond du témoignage de Coxon sur le sentiment privé au sein du laboratoire.

Le scientifique en chef d'OpenAI ajoute l'argument technique

Si Coxon a fourni l'alarme, Pachocki a fourni le mécanisme. Son essai avance deux arguments difficiles à écarter comme des relations publiques.

Le premier concerne la surveillance. Le principal contrôle empirique d'OpenAI pour vérifier si le raisonnement déclaré d'un modèle correspond à son comportement a été la surveillance de la chaîne de pensée, la lecture de la trace de raisonnement visible du modèle. Pachocki a écrit que cela devient « de moins en moins fiable » pour trois raisons cumulatives : les modèles de raisonnement modernes opèrent dans des environnements complexes où une grande partie du travail se fait dans l'utilisation d'outils et des conversations qui doivent elles-mêmes être supervisées; les modèles s'améliorent pour raisonner sur leur propre raisonnement et le manipuler; et l'amélioration du pré-entraînement rend les modèles plus intelligents d'une manière qui ne nécessite pas du tout de raisonnement verbalisé, de sorte que la trace visible révèle moins ce que le modèle fait réellement. OpenAI a délibérément masqué les chaînes de pensée brutes dans des modèles tels que o1-preview pour les protéger de la pression de supervision. L'implication est que le meilleur outil de validation de l'entreprise s'affaiblit au moment même où il est le plus nécessaire.

Le second concerne la gouvernance. Pachocki a soutenu que les cadres volontaires (le Preparedness Framework d'OpenAI et la Responsible Scaling Policy d'Anthropic) devraient évoluer vers des « garde-fous de sécurité largement imposés pour la poursuite du développement », appliqués par un réseau d'auditeurs tiers, d'agences gouvernementales ou d'organismes internationaux. « Actuellement, je crois qu'aucun laboratoire n'a suffisamment résolu l'alignement et la surveillance pour continuer à évoluer à vitesse maximale de manière responsable beaucoup plus longtemps », a-t-il écrit. « J'espère et je m'attends à ce que les ralentissements volontaires se généralisent jusqu'à ce que des garde-fous de sécurité partagés soient établis. »

Qu'un scientifique en chef normalise publiquement l'idée que sa propre entreprise ralentisse est notable. C'est aussi le signe le plus clair à ce jour que le débat interne sur la sécurité est passé de la question de savoir si les risques sont réels à celle de savoir comment ils devraient être gouvernés.

Le regard de l'extérieur

Les avertissements sont tombés dans un environnement politique déjà enclin à l'action. La brèche de Hugging Face et une série d'incidents impliquant des agents voyous ou défaillants ont donné aux législateurs des éléments concrets, et Reuters a rapporté qu'un nombre croissant d'élus américains réclament de nouvelles règles sur l'IA après les avertissements. Une mesure connue sous le nom de Stop Rogue AI Act chargerait le National Institute of Standards and Technology d'écrire des règles de sécurité des agents, selon la lecture d'AI Weekly de l'essai et du débat environnant.

Les sceptiques noteront que les avertissements des laboratoires peuvent servir des fins concurrentielles : un appel à des garde-fous de sécurité que les rivaux doivent aussi respecter peut ancrer les acteurs en place, et les prédictions d'une superintelligence à venir rapidement peuvent relever la valeur perçue des laboratoires qui prétendent en être proches. Anthropic se prépare à une introduction en bourse, un fait à double tranchant, il donne à l'entreprise un intérêt à paraître responsable, et aux critiques une raison de minimiser ce qu'elle dit.

La lecture honnête est que les deux choses peuvent être vraies. Les preuves internes de l'accélération sont réelles et documentées. L'incertitude l'est aussi : aucun laboratoire n'a annoncé de système RSI fonctionnel, les calendriers sont des estimations, et le plan technique pour contrôler un système s'améliorant lui-même n'existe pas.

Ce qu'il faut surveiller

Trois indicateurs montreront si cette semaine a été un tournant ou un simple cycle d'actualité. Premièrement, si OpenAI et Anthropic coordonnent réellement le rythme de la RSI, comme Coxon l'a proposé, ou si la pression concurrentielle produit l'inverse. Deuxièmement, si les garde-fous de sécurité décrits par Pachocki deviennent obligatoires plutôt que volontaires, et si un laboratoire accepterait un auditeur externe doté d'une véritable autorité. Troisièmement, si le problème de surveillance est résolu techniquement; si la surveillance de la chaîne de pensée et de l'activation ne peut pas suivre, l'écart entre ce que les laboratoires peuvent construire et ce qu'ils peuvent vérifier devient le risque déterminant des prochaines années.

Le résumé de Pachocki lui-même était une phrase qui pourrait servir d'épitaphe à la semaine : « Traitez chaque trace de raisonnement comme utile mais non fiable, et construisez des contrôles externes avant d'en avoir besoin. » Les bâtisseurs, pour une fois, disent la même chose.