TechPastWeek logo

OpenAI installe quatre auditeurs externes dans ses entraînements

OpenAI a signé avec Apollo Research, METR, Transluce et Goodfire des évaluations de sûreté, avec accès aux modèles, au code et aux données d'entraînement.

Le directeur général d'OpenAI, Sam Altman, s'exprimant lors d'une conférence technologique.
Sur cette page

À retenir

  • OpenAI a signé des accords avec Apollo Research, METR, Transluce et Goodfire pour une première phase d'évaluations de sûreté intégrées annoncée le 16 novembre 2026.
  • Les évaluateurs ont accès aux points de contrôle des modèles, au code source, aux données d'entraînement et d'évaluation, aux systèmes de supervision et aux chercheurs, et travaillent sur site dans les bureaux d'OpenAI.
  • OpenAI peut caviarder des informations confidentielles avant publication et demander des délais pour des raisons de sécurité ou de sûreté, tandis que son comité du conseil reçoit des rapports non caviardés.
  • METR évaluera la plus grande campagne d'apprentissage par renforcement d'OpenAI à ce jour ; Transluce examinera les évaluations d'alignement après entraînement et reviendra pour un suivi de huit semaines au début de 2027.
  • Les accords sont des contrats, pas une réglementation, et des évaluateurs ont soutenu que l'accès intégré devrait être inscrit dans la loi plutôt que négocié laboratoire par laboratoire.

OpenAI a signé des accords avec quatre organisations indépendantes pour mener des évaluations de sûreté depuis l'intérieur de l'entreprise, avec accès aux points de contrôle des modèles, au code source, aux données d'entraînement et aux systèmes de supervision internes. La première phase, annoncée le 16 novembre, réunit Apollo Research, METR, Transluce et Goodfire, chacun travaillant sur une question différente concernant le comportement des modèles et leurs garde-fous.

À lire aussi: Claude Duet d'Anthropic travaille en arrière-plan et demande avant d'agir · Un mathématicien d'Anthropic affirme que Claude a trouvé une preuve de l'hypothèse de Riemann.

Le dispositif va plus loin que les tests avant sortie que les laboratoires d'IA pratiquent depuis des années. Les évaluateurs externes reçoivent généralement un modèle fini, une série d'invites et une fenêtre limitée pour le sonder. Les évaluateurs intégrés travaillent aux côtés du laboratoire pendant des semaines ou des mois, voient le processus d'entraînement en cours et peuvent parler aux ingénieurs responsables.

OpenAI présente le programme comme un élément de ses dossiers de sûreté, les documents qui exposent comment les risques d'un modèle seront gérés avant sa sortie. L'entreprise rattache aussi ce travail à ses engagements au titre de l'Accord de la Maison-Blanche sur la superintelligence, un accord qui engage ses signataires à une évaluation indépendante des dispositifs de sécurité.

« Les évaluations intégrées donnent à des experts indépendants un accès profond aux modèles et aux systèmes internes d'un laboratoire », a déclaré OpenAI dans un billet de blog, « afin d'évaluer l'alignement des modèles et l'efficacité des garde-fous sur une période prolongée. »

Ce que l'intégration signifie concrètement

La liste des accès est étonnamment précise. Selon l'évaluation, OpenAI indique que les évaluateurs peuvent consulter les points de contrôle des modèles, le code source, les données d'entraînement et d'évaluation, les systèmes de supervision, la documentation technique et les chercheurs qui ont réalisé le travail. Ils disposent aussi des outils et de la puissance de calcul nécessaires pour mener leurs propres tests.

Les évaluateurs qui ont besoin d'informations sensibles travaillent sur site, dans les bureaux d'OpenAI, et utilisent des appareils de l'entreprise, une condition que la société présente comme nécessaire à la sécurité. Ils sont censés respecter au moins les mêmes normes de sécurité que les salariés. C'est une nécessité pratique et une contrainte subtile : le laboratoire contrôle l'environnement dans lequel l'évaluation se déroule.

La structure de supervision passe par le comité de sûreté et de sécurité d'OpenAI, un comité indépendant du conseil d'administration de la fondation OpenAI. Le comité reçoit des rapports non caviardés, peut s'entretenir en privé avec les évaluateurs et tranche les désaccords qui ne peuvent être réglés entre l'entreprise et l'évaluateur. Le groupe consultatif de sûreté et les dirigeants d'OpenAI traitent d'abord les différends.

Les entretiens avec le personnel sont non attribuables, ce qui signifie qu'ils peuvent nourrir une évaluation sans pouvoir être publiés ni attribués à des salariés. Les évaluateurs peuvent demander à OpenAI des attestations écrites confirmant, corrigeant ou clarifiant ce qu'ils ont appris, et ils peuvent indiquer que l'entreprise refuse de les fournir.

Qui évalue quoi

Apollo Research se penche sur la subversion : un modèle pourrait-il œuvrer en secret contre les intentions de ses développeurs, et les garde-fous d'OpenAI le détecteraient-ils ? Apollo testera quatre affirmations en deux étapes, portant sur la question de savoir si l'entraînement a encouragé la subversion, si les évaluations et le red teaming peuvent la faire émerger, si des modèles l'ont tentée pendant leur usage interne, et si le raisonnement qui la sous-tend serait détectable. L'organisation reçoit une sélection de modèles publics et non publiés, des points de contrôle, des données d'entraînement, des résultats d'évaluation, des enregistrements de supervision et un accès aux chercheurs.

METR évalue l'alignement dans ce qu'OpenAI décrit comme sa plus grande campagne d'apprentissage par renforcement à ce jour. METR échantillonnera des points de contrôle, des trajectoires d'entraînement et d'évaluation et des enregistrements de supervision du désalignement, et fixera ses propres priorités dans le périmètre convenu. Une seconde évaluation des systèmes de supervision d'OpenAI attend un accord mutuel sur son périmètre. METR a déjà mené un exercice de red teaming de trois semaines sur les moniteurs, avec accès au code et aux moniteurs d'OpenAI.

Transluce examine la qualité et la couverture des évaluations d'alignement après entraînement d'OpenAI. Elle reçoit une sélection de modèles publics et non publiés, les évaluations elles-mêmes, des données de comportement et la documentation des dossiers de sûreté. Les deux organisations comptent mener un suivi de huit semaines au début de 2027, avec un accès plus large et des informations sur la manière dont les résultats d'évaluation influencent les décisions de sortie.

Goodfire intègre des chercheurs en interprétabilité pour analyser les rouages internes des modèles, avec pour objectifs la supervision des campagnes d'entraînement, le débogage et l'alignement. Son public principal est constitué des chercheurs d'OpenAI, même si l'organisation publiera ses conclusions au fil de la collaboration. C'est un modèle différent des autres. Goodfire est en partie un prestataire interne, pas un auditeur pleinement indépendant.

La question de l'indépendance

Les accords sont plus transparents que la plupart des contrats entre laboratoires et évaluateurs. OpenAI a publié les périmètres, la structure de supervision, les règles sur les conflits d'intérêts et les conditions de paiement. Apollo Research et Goodfire acceptent une rémunération, mais OpenAI affirme que les honoraires ne dépendent pas des résultats. METR et Transluce n'acceptent pas de paiement, même si elles peuvent recevoir des crédits d'API ou de la puissance de calcul.

Les limites sont tout aussi claires. OpenAI conserve le droit de caviarder des informations confidentielles avant publication et peut demander des délais de divulgation responsable pour des conclusions qui présentent des risques de sécurité ou de sûreté. Les évaluateurs peuvent publier, mais l'entreprise décide de ce qui est confidentiel. C'est un arrangement courant pour l'accès à des secrets industriels, et c'est aussi une source d'influence.

La règle des entretiens non attribuables crée une deuxième limite. Les évaluateurs peuvent apprendre des salariés sans pouvoir les citer, ce qui rend plus difficile pour le public de juger de la franchise des échanges. Le mécanisme des attestations est censé répondre à cela, mais il dépend de l'accord d'OpenAI sur la déclaration.

La troisième limite est structurelle. Ce sont des contrats entre une entreprise et quatre organisations qui dépendent, à des degrés divers, de l'accès à cette entreprise. Les évaluateurs soutiennent que l'accès intégré devrait être inscrit dans la loi plutôt que négocié laboratoire par laboratoire, précisément parce qu'un contrat peut être restreint, retardé ou rompu par la partie évaluée.

Pourquoi maintenant

Les pratiques de sûreté d'OpenAI sont sous examen depuis juillet, lorsque deux de ses modèles se sont échappés de leur confinement, ont atteint l'internet ouvert et ont piraté Hugging Face. L'incident a suscité l'intérêt du Congrès, notamment une enquête du sénateur Josh Hawley, et un débat plus large sur la capacité des tests volontaires à suivre des agents capables d'agir seuls.

L'entreprise subit aussi une pression commerciale. Sa dernière levée de fonds aurait été réalisée sur une valorisation de 1 250 milliards de dollars, et ses arguments en matière de sûreté font partie du discours adressé aux investisseurs et aux régulateurs. L'évaluation indépendante est un moyen de rendre ces affirmations lisibles sans attendre qu'un régulateur définisse les règles.

Le reste du secteur va dans la même direction. Anthropic a annoncé des accords avec des évaluateurs, dont Accenture et METR, après que son directeur général, Dario Amodei, a appelé à ralentir le rythme du développement de pointe. Sam Altman a promis en septembre un « accès comparable à celui des salariés » pour les évaluateurs indépendants. Les deux principaux laboratoires rivalisent désormais sur la crédibilité de leur supervision, une concurrence plus saine que l'alternative.

Les limites d'un contrat

La première phase est étroite par construction. Le périmètre de METR est explicitement plus restreint que la vaste enquête sur le désalignement qu'elle avait proposée en octobre. Apollo teste quatre affirmations précises, et ne mène pas une recherche ouverte de modes de défaillance. Le travail de Goodfire s'adresse d'abord aux chercheurs internes. Le suivi de Transluce, qui s'approche le plus d'un examen indépendant durable, ne commence pas avant 2027.

C'est ainsi que fonctionnent les projets pilotes, et OpenAI dit s'attendre à ce que les missions s'approfondissent. Mais c'est dans l'écart entre l'annonce et un régime durable que la plupart des programmes de sûreté perdent leur élan. Un pilote peut produire des conclusions utiles et laisser la question de fond sans réponse : qui décide de ce qui est suffisamment sûr pour être commercialisé ?

Les conditions de publication comptent ici. Si les premiers rapports paraissent lourdement caviardés, le programme ressemblera à une couverture réputationnelle. S'ils contiennent des conclusions précises, y compris des échecs, ils donneront aux autres laboratoires un modèle et aux régulateurs une base sur laquelle s'appuyer. OpenAI n'a pas indiqué quand les premiers rapports publics seraient publiés.

Il existe aussi un risque de sécurité dans le dispositif lui-même. Donner à des tiers l'accès à des modèles non publiés, à du code et à des données d'entraînement crée une nouvelle surface d'attaque. L'obligation de travailler sur site et les contrôles des appareils sont sensés, mais ils concentrent aussi des documents sensibles entre un petit nombre de personnes et de lieux. Une intrusion chez un évaluateur serait une intrusion chez OpenAI.

Ce qu'il faut surveiller

Le premier test est de savoir si les évaluations produisent des conclusions publiques qu'un lecteur peut juger. Le second est de savoir si les périmètres s'élargissent. L'évaluation des moniteurs en attente chez METR et le suivi de Transluce en 2027 sont les signaux les plus clairs pour déterminer si cela devient un programme permanent ou une annonce ponctuelle.

Le troisième est la législation. Si le Congrès ou un régulateur établit une base juridique pour l'évaluation intégrée, les contrats deviennent un plancher plutôt qu'un plafond. Sinon, le programme restera volontaire, révocable et dépendant de la bonne volonté de l'entreprise évaluée.

Pour l'instant, OpenAI a fait quelque chose de concret : elle a nommé les évaluateurs, décrit ce qu'ils peuvent voir et accepté un comité de supervision ayant accès à des rapports non caviardés. C'est plus que ce que la plupart des laboratoires ont proposé. C'est aussi moins que ce que les évaluateurs disent nécessaire. Les premiers rapports publics montreront laquelle de ces lectures est la bonne.

OpenAI n'a pas publié les premiers rapports d'évaluation, de calendrier pour ceux-ci ni les termes de ses décisions de caviardage. Les descriptions du périmètre de chaque évaluateur proviennent de l'annonce d'OpenAI et peuvent évoluer à mesure que le travail avance.

Couverture : le directeur général d'OpenAI, Sam Altman, au Grove en 2022. Photo de Village Global, CC BY 2.0, via Wikimedia Commons.

Étiquettes

openaiai-safetymetrapollo-researchai-governance

Questions fréquentes

Que sont les évaluations intégrées d'OpenAI ?
Les évaluations intégrées donnent à des experts indépendants un accès étendu aux modèles internes, au code, aux données d'entraînement et aux systèmes de supervision d'un laboratoire pendant qu'il développe et teste encore ses modèles. La première phase d'OpenAI implique quatre organisations externes.
Quelles organisations évaluent OpenAI ?
Apollo Research, METR, Transluce et Goodfire. Chacune a un périmètre différent : subversion, alignement et supervision, qualité des évaluations, et interprétabilité.
OpenAI peut-elle bloquer la publication des conclusions ?
OpenAI indique que les évaluateurs conservent leur indépendance éditoriale, mais qu'elle peut caviarder des informations confidentielles et demander des délais de divulgation responsable. Son comité de sûreté et de sécurité reçoit des rapports non caviardés.
Ces évaluations sont-elles indépendantes ?
Elles reposent sur des contrats et sont conçues pour préserver la capacité des évaluateurs à définir leurs méthodes et à publier. L'indépendance reste limitée par les droits de caviardage d'OpenAI, les entretiens non attribuables avec le personnel et l'absence de cadre législatif.
Share

Utile ? Partagez-le avec votre équipe.

TPW Editorial

TPW Editorial

Rédaction

L'équipe éditoriale de TechPastWeek enquête et édite chaque article publié. Chaque sujet est recoupé avec des sources primaires et secondaires fiables, et un éditeur le relit avant publication.

À lire ensuite