Nvidias Harness hebt Claude Opus 5 bei ARC-AGI-3 von 30 % auf 100 %

News-Zusammenfassung

Am 21. August 2026 veröffentlichte Nvidia Forschungsergebnisse, die belegen, dass die größten Leistungssteigerungen bei KI-Agenten mittlerweile aus der Softwareschicht stammen, die ein Modell umgibt, und nicht mehr aus dem Modell selbst. Das Unternehmen bezeichnet diese Hülle als „Harness“ – den Orchestrierungscode, das Speichersystem, den Tool-Zugriff und die Steuerungslogik, die ein rohes Sprachmodell in einen Agenten verwandeln, der über längere Zeiträume eigenständig agieren kann.

Die Kernaussage: Der Harness, nicht das Modell, treibt die Leistung voran

Adel El Hallak, Nvidias Produktvizepräsident für agentische KI, erklärte, dass die Branche Agenten bisher falsch verstanden habe und einen Agenten „fast wie eine API des Modells“ behandle, statt ihn als System aus mehreren interagierenden Komponenten zu begreifen. In Nvidias Definition besteht ein Agent aus dem Modell plus dem darumliegenden Gerüst – dem Harness. Dieser umfasst die Tools, die das Modell aufrufen kann, die Art und Weise, wie Erinnerungen gespeichert und abgerufen werden, die Regeln, die sein Verhalten einschränken, sowie die Kontrollmechanismen, die verhindern, dass er bei langen, mehrstufigen Aufgaben vom Kurs abkommt.

Um dies konkret zu untermauern, ließen Nvidia-Forscher Anthropics Claude Opus 5 auf ARC-AGI-3 laufen, einem Benchmark der gemeinnützigen ARC Prize Foundation, der einen KI-Agenten ohne Anweisungen oder vorgegebene Ziele in unbekannte, spielähnliche Umgebungen versetzt. Der Agent muss durch Erkundung ein funktionierendes Modell der Regeln entwickeln und Ziele rein durch Versuch und Beobachtung über viele Züge hinweg erreichen. Dies macht den Test zu einer strengen Prüfung von Planungsfähigkeit und Gedächtnis, statt nur einfache Fragen zu beantworten.

Von 30 % auf 100 %: Das AVO-Experiment

Mit seinen Standardeinstellungen absolvierte Claude Opus 5 etwa 30 % der öffentlichen Level von ARC-AGI-3. Nvidia bettete dasselbe Modell daraufhin in sein eigenes Harness-Framework namens Agentic Variation Operators (AVO) ein. Dabei wurden ein rundenübergreifender persistenter Speicher und eine „Supervisor“-Komponente hinzugefügt, die laut Nvidia wie ein CEO fungiert: Sie überprüft den Fortschritt des Agenten, erkennt Sackgassen und korrigiert die Strategie, bevor weitere Aktionen verschwendet werden. Mit aktiviertem AVO und ohne sonstige Änderungen am zugrundeliegenden Modell meisterte das System alle 183 Level in den 25 öffentlichen Umgebungen des Benchmarks. Es erreichte eine perfekte Punktzahl von 100,00 bei der Metrik Relative Human Action Efficiency (RHAE) von ARC-AGI-3 und benötigte dabei etwa 12 % weniger Umweltaktionen als das zuvor beste System in dieser Rangliste, ein Harness namens VISTA.

Nvidia entwickelt AVO bereits seit dessen Einführung als universelles Coding-Agenten-System Ende März 2026, ursprünglich zur Optimierung von CUDA-GPU-Kernels. Es ist wichtig zu beachten, dass dieses ARC-AGI-3-Ergebnis auf Nvidias eigener Neuimplementierung der öffentlichen Aufgabenschnittstelle des Benchmarks basiert, durchgeführt und berichtet vom Nvidia-Team. Es handelt sich nicht um einen unabhängig verifizierten Lauf auf der offiziellen Bestenliste der ARC Prize Foundation, und es deckt nur die 25 öffentlich freigegebenen Umgebungen ab, nicht die halb-privaten oder vollständig privaten Wettbewerbssätze des Benchmarks, die für offizielle Rankings verwendet werden.

Bestätigende Erkenntnisse aus der gesamten Branche

Laut Berichterstattung reiht sich Nvidias Demonstration in eine Serie ähnlicher Erkenntnisse anderer Organisationen aus den vergangenen Monaten ein. Im April 2026 testete Microsoft 19 große Sprachmodelle bei realen Dokumentbearbeitungsaufgaben und stellte fest, dass jedes Modell ohne einen gut konzipierten Harness fehlerhafte Ergebnisse lieferte. Im Juli 2026 berichtete OpenAI, dass es die Scores seiner eigenen Modelle bei ARC-AGI-3 allein durch die Anpassung von zwei Einstellungen im umgebenden Harness verdreifachen konnte, ohne das Modell selbst zu verändern. Im selben Monat veröffentlichte Databricks Forschungsergebnisse, wonach die Wahl des Harness die Gesamtkosten für die Ausführung einer agentischen Aufgabe etwa doppelt so stark beeinflusste wie die Wahl des zugrundeliegenden Modells.

In seinem eigenen technischen Blog hat Nvidia separat ein verwandtes Framework detailliert beschrieben, intern als NOOA bezeichnet. Dieses definiert sechs Harness-Designfähigkeiten, die Ingenieure nutzen können, um die Modellleistung zu steigern: typisierte Ein- und Ausgaben, die validiert statt als Freitext übergeben werden; die Möglichkeit für Modelle, per Referenz auf Live-Objekten statt auf serialisierten Daten zu operieren; die Behandlung von geschriebenem Code als eigentliche Aktion, einschließlich Kontrollfluss; die Gestaltung der Orchestrierungsschleife als einfachen, bearbeitbaren Code statt als verborgene Blackbox; die Speicherung dauerhafter, typisierter Zustände in Agentenobjekten statt sie im Gesprächsverlauf zu vergraben; sowie die Bereitstellung von Kontext und Ereignishistorie als APIs, die das Modell selbst inspizieren und verwalten kann. Nvidia berichtete, dass dieser Ansatz beim Software-Engineering-Benchmark SWE-bench Verified eine Genauigkeit von 82,2 % erreichte, wobei deutlich weniger Modellaufrufe und Tokens pro Aufgabe benötigt wurden als bei vergleichbaren Systemen.

Warum das wichtig ist

Diese Erkenntnisse stellen neu dar, wie die KI-Branche über Fortschritte bei autonomen Agenten denken sollte. Statt jeden Leistungssprung als Funktion eines neueren, größeren oder teureren Basismodells zu betrachten, legt Nvidias Forschung nahe, dass die technische Schicht oberhalb des Modells – wie es sich erinnert, wie es überwacht wird und wie es handeln darf – der größere Hebel für die Bewältigung realer Aufgaben sein kann, insbesondere bei langfristigen Problemen, die sich über viele Schritte erstrecken. Für Entwickler und Unternehmen, die KI-Agenten bauen, bedeutet dies, dass Investitionen in Harness-Design, Speicherarchitektur und Steuerungslogik sich genauso stark oder sogar stärker auszahlen können als ein Upgrade auf die neueste Modellversion.