Eine Konfigurationszeile: Amazons TorchNeuron zielt auf Nvidias CUDA-Bindung

Zusammenfassung der Nachricht

Amazon Web Services (AWS) hat TorchNeuron am Montag, den 19. Oktober 2026 (US-Westküstenzeit) veröffentlicht, ein Entwicklerwerkzeug, das es KI-Teams erleichtern soll, Anwendungen auf Amazons hauseigenen Trainium-Chip zu verlagern. TorchNeuron basiert auf PyTorch, dem Open-Source-Framework zum Erstellen, Trainieren und Ausführen von KI-Modellen. AWS gibt an, dass eine bestehende PyTorch-Anwendung durch die Änderung einer einzigen Konfigurationszeile auf Trainium laufen kann – ohne Code-Umschreibung. Die Veröffentlichung zielt auf das ab, was viele als Nvidias stärksten Vorteil ansehen: die CUDA-Softwareschicht, die Nvidia-Hardware zur Standardwahl für KI-Entwickler gemacht hat.

Was TorchNeuron ist

TorchNeuron ist ein PyTorch-Backend für AWS Trainium. Laut der öffentlichen Neuron-Dokumentation von AWS ersetzt es den früheren XLA-basierten Ansatz durch eine native PyTorch-Integration über den PrivateUse1-Gerätemechanismus von PyTorch. Es unterstützt sowohl den Eager-Modus als auch torch.compile und zielt auf Trn2- und Trn3-Instanzen ab. Das Paket behält den Namen seines Vorgängers, torch-neuronx, und wird als Open Source beschrieben, mit einem ersten Zuhause auf GitHub unter aws-neuron/torch-neuronx.

Für Entwickler besteht die praktische Änderung darin, dass für CUDA-GPUs geschriebener Code nur minimale Anpassungen benötigt. Das Hauptbeispiel in den FAQ von AWS ist die Änderung des Geräts von CUDA auf Neuron. Verteilte Funktionen wie FSDP und DTensor werden unterstützt, wobei die Sharding-Einstellungen von der Anzahl der NeuronCores und nicht von der Anzahl der GPUs abhängen.

Warum PyTorch und CUDA wichtig sind

PyTorch wurde ursprünglich bei Facebook entwickelt und gehört seit 2022 zur Linux Foundation. Amazon gibt an, dass etwa 85 % der KI-Anwendungen damit geschrieben werden. Nvidias CUDA ist die Softwareschicht, die es solchen Anwendungen ermöglicht, auf den GPUs des Unternehmens zu laufen, und Nvidia hat daran gearbeitet, die CUDA-Unterstützung für PyTorch nahtlos zu halten. Dieser Komfort ist ein wesentlicher Grund dafür, dass Entwickler tendenziell bei Nvidia-Hardware geblieben sind.

Amazon ist nicht das erste Unternehmen, das einfache PyTorch-Portabilität verspricht. PyTorch-Anwendungen lassen sich auch mit Konfigurationsänderungen auf AMD-GPUs oder Apple-Chips verlagern. Was Amazon anpreist, ist derselbe reibungsarme Weg auf die eigene Hardware und Cloud.

Das Trainium-Versprechen

Trainium ist darauf ausgelegt, sowohl Training als auch Inferenz auf demselben Chip zu bewältigen. AWS argumentiert, dass dies zusammen mit der Integration in die breitere Cloud-Infrastruktur Startups Geld sparen kann, selbst wenn AWS pro Token nicht die günstigste Option ist. AWS positioniert das Bauen auf der eigenen Cloud außerdem als bessere Wahl gegenüber „Neocloud“-Anbietern wie CoreWeave, Nebius und Firmus, von denen viele an Nvidia-Hardware gebunden sind.

Colin Brace, Vizepräsident für Technologie-Software bei Amazons Annapurna Labs, der Custom-Chip-Einheit des Unternehmens, rahmte die Einführung um das Thema Wahlfreiheit: „Die eigentliche Geschichte ist die Beseitigung der Bindung, die Entwickler davon abgehalten hat, überhaupt eine echte Wahl zu haben.“

Kundenbeispiel: Deepgram

AWS nannte Deepgram, ein KI-Sprachunternehmen, das mit ElevenLabs konkurriert, als frühen Anwender. Deepgram wechselte mithilfe der nativen PyTorch-Unterstützung zu Trainium und verarbeitet laut AWS nun 70 % mehr Audio pro Dollar bei produktionsreifer Genauigkeit. Diese Zahl stammt von AWS; der ursprüngliche Bericht enthielt keine unabhängigen Benchmarks.

Änderungen an PyTorch selbst

Amazon gibt außerdem an, Änderungen zum Hauptprojekt von PyTorch beizutragen, um Code zu entfernen, der das Framework an bestimmte Chips bindet, und es damit hardwareunabhängiger zu machen. Die ursprüngliche Berichterstattung wies auf einen möglichen Kompromiss hin: Ein Framework, das viele Hardwarearten unterstützt, könnte für Entwickler mehr Konfigurationsaufwand bedeuten – nicht nur mehr Auswahl.

Hintergrund: Trainium im großen Maßstab

Branchenberichte beschreiben Project Rainier, das im Oktober 2025 mit fast 500.000 Trainium2-Chips in Betrieb ging und zum Training der Claude-Modelle von Anthropic genutzt wird, und melden, dass Trainium3 auf der AWS re:Invent 2025 vorgestellt wurde. Diese Details stammen aus einem sekundären Branchenleitfaden und sollten mit mehr Vorsicht behandelt werden als die Dokumentation von AWS selbst.

Worauf zu achten ist

Preise, Details zur allgemeinen Verfügbarkeit und unabhängige Leistungsvergleiche mit Nvidia-GPUs wurden in der Berichterstattung zur Einführung nicht bekannt gegeben. Ob Entwickler die „Eine-Zeile“-Migration bei echten Produktions-Workloads bestätigt sehen und wie schnell die Upstream-Änderungen an PyTorch umgesetzt werden, wird entscheiden, ob TorchNeuron die Softwarelücke verkleinert, die CUDA lange Zeit gehalten hat.

Quellen

Dieser Bericht stützt sich auf die Berichterstattung von TechCrunch vom 19. Oktober 2026, die AWS-Neuron-Dokumentation und einen Introl-Branchenleitfaden zum AWS-Chip-Ökosystem.