Google ouvre le code de TorchTPU, tandis que TorchNeuron d'Amazon entre en bêta

Google a publié TorchTPU en open source le mardi 20 octobre, jour d'ouverture de la PyTorch Conference à San José, faisant de ses Tensor Processing Units une cible native du code PyTorch. TorchNeuron, annoncé la veille par Amazon, est entré en bêta publique le même jour pour Trainium2 et Trainium3. Dans la version de Google, un modèle passe sur un TPU en changeant la chaîne de périphérique ; chez Amazon, la modification de l'exemple de l'entreprise est model.to('neuron'). Les deux sont sur GitHub, et les deux s'attaquent au même coût : le temps d'ingénierie qu'une équipe passe à faire tourner une base de code PyTorch ailleurs que sur du matériel Nvidia.

À lire aussi: Amazon cherche à sortir 8 milliards de dollars de puces Nvidia via un véhicule de financement · DeepSeek ouvre une pile logicielle pour les puces Ascend de Huawei, avec CUDA en ligne de mire.

Ni l'un ni l'autre n'est une nouvelle puce. Chacun est un backend logiciel qui se place entre PyTorch et un accélérateur, intercepte les opérations du framework et les abaisse en quelque chose que la puce peut exécuter. TorchTPU vise les TPU et TorchNeuron vise Trainium. Les deux se branchent via le point d'extension PrivateUse1 de PyTorch, le mécanisme qui permet à un fabricant de matériel d'enregistrer un périphérique sans forker le framework. C'est ce point d'extension qui explique que deux clouds concurrents aient pu livrer des backends natifs la même semaine. Aucun des deux ne possède PyTorch.

Ce que contiennent réellement les deux publications

TorchTPU est le projet le plus ancien. Google dit que le travail a commencé à la mi-2025 avec l'équipe PyTorch de Meta, et le blog PyTorch le présente comme « une collaboration open source entre Google et Meta qui introduit un backend PyTorch natif et rigoureux pour les TPU de Google ». Il remplace la voie antérieure passée par PyTorch/XLA, que Google avait introduite en 2020 sur des tenseurs paresseux. Cette version obligeait les développeurs à marquer les régions compilables dans leur code source, affichait de longs temps de compilation et ne prenait pas en charge le mode d'exécution immédiate de PyTorch. TorchTPU s'exécute immédiatement par défaut, prend en charge torch.compile, enregistre environ 450 opérateurs Aten et implémente les opérations collectives TPU au niveau du groupe de processus, de sorte que le code distribué écrit pour DTensor, FSDP et des API similaires fonctionne sans bibliothèque de communication séparée.

L'annonce de Google liste quatre dépôts : TorchTPU lui-même, plus des backends TPU pour vLLM et SGLang et une intégration TorchTitan. Les moteurs de service comptent plus que le titre. vLLM et SGLang sont deux des principaux moteurs pour servir des modèles à poids ouverts, et un backend qui ne fonctionnerait que dans un script d'entraînement laisserait l'inférence sur les GPU. Google cite aussi des intégrations avec llm-d 1.0, Ray, TorchRec, Hugging Face Transformers v5, où device_map="tpu" charge un modèle sur un TPU, et LiteRT, son environnement d'exécution embarqué, qui a rejoint l'écosystème PyTorch. Une suite d'agents TPU en avant-première est censée répondre aux questions de migration et corriger les erreurs pendant un portage.

L'affirmation sur la couverture des modèles est concrète ; celle sur la performance ne l'est pas. Google dit avoir validé 4 917 des modèles Hugging Face les plus téléchargés, sur plus de 500 familles d'architectures, et le billet PyTorch indique que TorchTPU est déjà utilisé en production pour l'inférence et l'entraînement par « certains des plus gros clients de Google Cloud », sans les nommer. Faire tourner un modèle tel quel et le faire bien tourner sont deux résultats différents, et le billet de Google précise lui-même que la performance maximale exige des formes, un partitionnement et des opérateurs alignés sur l'architecture du TPU.

« Avec TorchTPU, les TPU rejoignent les GPU et les CPU comme option native pour PyTorch. » — Mark Lohmeyer et Bill Jia, Google Cloud, 20 octobre 2026

L'annonce d'Amazon est plus étroite, et sa documentation est plus explicite sur les manques. TorchNeuron enregistre Trainium comme périphérique neuron, prend en charge l'exécution immédiate et torch.compile, expose des outils de noyaux personnalisés via la Neuron Kernel Interface et envoie les données de profilage par le torch.profiler standard vers une visionneuse appelée Neuron Explorer. Il prend en charge DDP, FSDP2, le parallélisme tensoriel et de pipeline, DTensor et DeviceMesh. Hugging Face a ajouté le support Trainium en amont dans Transformers, Diffusers, TRL et sa bibliothèque de noyaux, si bien que device_map="neuron" y fonctionne aussi. Le paquet s'installe avec pip install torch-neuronx, et le code est sous Apache 2.0 sur aws-neuron/torch-neuronx.

Les manques sont documentés par Amazon, pas découverts par les critiques. La première version ne prend pas en charge les formes dynamiques ou symboliques, les tenseurs creux, l'autograd en mode direct ni plusieurs fonctions plus petites. Lors d'une campagne d'août 2026 sur les suites de tests en amont de PyTorch, Amazon a enregistré environ 154 000 résultats de tests. Environ 69 000 ont été sautés pour une raison valable et environ 39 000 étaient des sauts volontaires liés à Neuron ; le plus gros groupe, environ 22 000, concernait des opérateurs sans implémentation Neuron native. TNW a résumé la même matière en évoquant environ 22 000 tests PyTorch sautés. Les deux sont exacts : l'un compte toute la suite, l'autre seulement les sauts qui signalent une couverture d'opérateurs manquante.

Une ligne de code, et les mois autour

La chaîne de périphérique est la démonstration, pas la migration. Le billet de Google dit qu'un changement d'une ligne suffit à faire tourner un modèle, puis ajoute la réserve sur la performance maximale. La démonstration d'Amazon a exécuté le même script d'entraînement sur Trainium et sur une puce classique, et indiqué que le modèle avait appris « les mêmes choses au même rythme » ; aucun chiffre de débit, de coût ou de convergence n'a été publié.

Ce qui a changé, c'est la direction du travail. Avant ces backends, un portage vers TPU ou Trainium impliquait de s'adapter à une pile propre au fournisseur, de réécrire des noyaux, de revalider le comportement numérique et d'entretenir un fork face à PyTorch en amont. Désormais, la première tentative est un changement de configuration et le travail restant est du réglage. C'est une facture plus légère à un moment où les acheteurs surveillent les coûts. Amazon parle de temps d'ingénierie. Google parle de choix entre TPU, GPU et CPU sous un même modèle opérationnel.

La TechCrunch a résumé la lecture stratégique du duo sans détour : « Amazon et Google travaillent clairement à mettre fin à l'avantage de Nvidia. » Le même article ajoutait que rien de tout cela ne signifie que les développeurs abandonneront massivement le matériel Nvidia. Un fournisseur peut lever un obstacle sans gagner le client.

L'implication de Meta indique une volonté d'options. Jana van Greunen, directrice de l'ingénierie PyTorch chez Meta, a déclaré que TorchTPU permet à Meta de « déployer nos charges de travail PyTorch sur les TPU de Google, faire remonter directement nos retours aux équipes d'ingénierie et bâtir la souplesse d'écosystème dont tout le monde a besoin ». Cela décrit une seconde voie vers la production, pas un départ de Nvidia. Meta a codéveloppé le backend.

Les enjeux commerciaux sont assez grands pour expliquer la coordination. Amazon affirme que son activité de puces sur mesure a dépassé un rythme de revenus annuels de 25 milliards de dollars, et son directeur général Andy Jassy a déclaré en avril 2026 qu'elle pourrait valoir 50 milliards (TNW). Google a annoncé ses TPU de huitième génération en avril 2026, dont les 8t pour l'entraînement et les 8i pour l'inférence, et dispose d'un accord élargi avec Anthropic portant sur plusieurs gigawatts de capacité TPU. Selon Yahoo Finance, l'entreprise travaille aussi à approvisionner OpenAI. Chaque charge de travail qui tourne sur ces puces sans réécriture est de la capacité que le cloud peut remplir avec du silicium qu'il contrôle.

Les benchmarks sont ceux des fournisseurs

Le chiffre phare de Google est réel mais étroit. L'entreprise dit que TorchTitan, sa pile de référence pour l'entraînement, a atteint jusqu'à 52 % d'utilisation des FLOPs du modèle sur Qwen 3 8B en montant à 8 192 TPU Ironwood, et que le nouveau mode immédiat DeferAndFuse peut être plus rapide de 50 % ou plus que l'exécution immédiate stricte. Les deux sont des mesures de Google, sur du matériel Google, avec la configuration logicielle de l'entreprise. Elles prouvent que la pile logicielle est moins un goulot d'étranglement qu'auparavant. Elles ne montrent pas qu'un TPU est plus rapide ou moins cher qu'un GPU pour une tâche donnée.

Le chiffre le plus utile d'Amazon vient d'un client plutôt que d'une suite de tests. Deepgram, qui vend des modèles vocaux, est cité disant que Trainium traite « environ 60 % de secondes d'audio d'entrée de plus par dollar que nos bases GPU existantes » après un portage de plusieurs mois. La référence est le parc de Deepgram lui-même, pas une puce Nvidia nommée, et la mesure porte sur des secondes d'audio par dollar dans une charge vocale. C'est significatif pour quiconque sert de la voix, pas un résultat général.

Pourquoi un backend ne défait pas CUDA

Un backend supprime une couche de coût de changement. Il ne supprime pas les autres. L'avantage de CUDA n'est pas une API unique que PyTorch pourrait abstraire. C'est l'ensemble accumulé de bibliothèques, de noyaux optimisés, de profileurs, de débogueurs et de réponses aux problèmes des autres, construit autour du matériel Nvidia depuis plus d'une décennie. Une équipe qui possède un noyau d'attention personnalisé, un optimiseur fusionné et un an de travail sur les performances détient des actifs qu'une chaîne de périphérique ne transporte pas.

Les documents de lancement l'admettent par endroits. Le billet de Google sur TorchTPU indique que son implémentation collective par défaut compile chaque opération collective dans un module séparé, ce qui peut coûter 30 % à 40 % de bout en bout, et que les formes dynamiques bornées sont encore en construction ; torch.compile force actuellement dynamic=False. La première version de TorchNeuron saute les formes dynamiques et les autres fonctions listées plus haut. Open source ne veut pas dire terminé. TorchNeuron est une bêta publique, et la documentation de Google décrit une maturité variable selon les fonctions.

PyTorch est désormais un terrain neutre. Meta a écrit le framework en 2016 et l'a transféré à la Linux Foundation en 2022, si bien qu'un backend Google ou Amazon peut arriver comme travail d'écosystème plutôt que comme détour propriétaire. C'est à la conférence de la fondation que les deux publications ont atterri. Cet arrangement donne aux fournisseurs une raison d'améliorer la couche partagée : un correctif intégré à PyTorch aide leur matériel sans demander aux développeurs d'adopter une pile de fournisseur.

Le travail le plus lourd est peut-être dans les pull requests. Amazon dit soumettre des changements au dépôt principal de PyTorch pour supprimer les hypothèses CUDA codées en dur, et le billet TorchNeuron les liste. Google a contribué LiteRT à l'écosystème PyTorch et a travaillé à travers Hugging Face, vLLM et SGLang plutôt qu'à côté. Ce sont ces changements qui rendraient le prochain portage moins cher.

Ce qui compterait comme preuve

Un benchmark indépendant trancherait plus que l'un ou l'autre billet de lancement. Le test est facile à spécifier : le même modèle, les mêmes tailles de lot et la même précision, mesurés sur un TPU, une instance Trainium et un GPU Nvidia, coût par jeton inclus. Un client nommé décrivant une migration achevée et la facture avant et après aurait un poids comparable. Du code fusionné en amont aussi : une couverture d'opérateurs et des changements indépendants du périphérique acceptés dans PyTorch plutôt que dormant dans un dépôt de fournisseur.

Réserves

Les deux publications sont des annonces logicielles, pas des résultats de performance. Aucune des deux entreprises n'a publié de chiffres indépendants et comparables pour l'une ou l'autre pile sur un modèle commun face au matériel Nvidia. TorchNeuron est une bêta publique avec des manques fonctionnels documentés, et la documentation de TorchTPU décrit une maturité variable, une pénalité assumée sur sa voie collective par défaut et un travail inachevé sur les formes dynamiques. Le chiffre de « 85 % » qui apparaît dans la couverture n'en est pas un seul : Amazon dit que 85 % des chercheurs et développeurs en IA écrivent en PyTorch, tandis que TechCrunch affirme que PyTorch est utilisé par 85 % des applications d'IA « selon certains décomptes ». Les deux sont attribués, et ils mesurent des populations différentes. La migration sera aussi progressive : un backend réduit le coût d'essayer un second fournisseur, et les achats reposent toujours sur un coût par jeton mesuré et sur des dates de livraison.

Les deux backends peuvent être téléchargés dès maintenant. Le benchmark qui dirait ce que vaut le portage n'a pas encore été publié.

Image de couverture : « Google Data Center, Council Bluffs Iowa » de Chad Davis, CC BY 2.0, via Wikimedia Commons.