DeepSeek öffnet DeepInfer: Die Engine, die 155 Billionen Token pro Tag verarbeitet – ohne Cache und Lastverteilung

Nachrichtenüberblick

DeepSeek hat DeepInfer vollständig als Open Source veröffentlicht – das interne Inferenz-Framework, mit dem das Unternehmen seine Modelle in der Produktion bereitstellt – zusammen mit deepseek-recipe, einer Begleitbibliothek, die Text exakt so in Token umwandelt und zurückkonvertiert, wie es die offizielle API des Unternehmens tut. Die Ankündigung wurde am Dienstag, dem 20. Oktober 2026, auf X veröffentlicht (The Next Web versah seinen Bericht mit einem Zeitstempel von 14:08 Uhr UTC, etwa 10:08 Uhr US-Ostküstenzeit), und der Code ist auf GitHub unter der Apache-2.0-Lizenz veröffentlicht.

Was DeepSeek veröffentlicht hat

DeepInfer befindet sich im GitHub-Repository deepseek-ai/DeepInfer. DeepSeek stellte es auf X mit den Worten vor: „Introducing DeepInfer, our in-house inference framework, now fully open source!“ und beschrieb seinen Zweck als „Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency.“

Ein Inferenz-Framework ist die Softwareschicht, die ein trainiertes Modell für echte Nutzer ausführt. Es entscheidet, wie Anfragen gebündelt werden, wie die Arbeit auf viele Chips verteilt wird und wie schnell jedes Token erzeugt wird. SiliconANGLE schrieb in einem am 20. Oktober um 19:11 Uhr US-Ostküstenzeit aktualisierten Bericht, DeepSeek bezeichne die Kosten für die Bereitstellung großer Modelle für viele Nutzer als „das Kernproblem, das ein Inferenz-Framework lösen muss“.

Das Repository enthält optimierten Code für DeepSeeks Modelle, Werkzeuge zur Verteilung der Arbeit auf viele Beschleuniger, spekulatives Dekodieren, Funktionen, die Ausgaben von Durchlauf zu Durchlauf identisch halten, sowie Unterstützung dafür, Antworten in festgelegte Formate wie strukturierte Ausgaben zu zwingen. DeepSeek gibt außerdem an, dass Inferenzcode für künftige Modelle demselben Repository hinzugefügt wird.

Die Begleitbibliothek deepseek-recipe

deepseek-recipe wurde zusammen mit dem Framework veröffentlicht. Sie wandelt eingehende Anfragen mithilfe derselben Logik wie DeepSeeks offizielle API in Tokensequenzen um. Das Ziel ist Konsistenz: Teams, die DeepSeek-Modelle selbst hosten, sollen dasselbe Tokenisierungs- und Anfrageverhalten erhalten wie Nutzer des gehosteten Dienstes. Ein technischer Blog beschrieb die Bibliothek als in Rust mit Python-Bindings geschrieben, aber dieses Detail stammt aus einer einzigen Quelle.

Unterstützte Modelle und Hardware

Derzeit unterstützt DeepInfer ein einziges Modell, DeepSeek-V4.1-Flash, das im September auf den Markt kam. Standardmäßig lädt es die aktualisierte Version „1017“, die am Wochenende des 18. Oktober veröffentlicht wurde.

Zur unterstützten Hardware gehören Nvidia-SM100-Datenzentrums-GPUs (Blackwell) und Huawei-Ascend-950-NPUs. Hopper und ältere Nvidia-Generationen sind nicht aufgeführt. Zwei der Funktionen für reproduzierbare Ausgaben funktionieren derzeit nur auf Nvidia-Hardware, und alle von DeepSeek veröffentlichten Benchmarks wurden auf Nvidia-Chips ausgeführt. Die Ascend-Unterstützung folgt auf eine Veröffentlichung vom 30. September, die die TileLang-Kernelsprache auf Huawei-Chips brachte.

Technische Höhepunkte

SiliconANGLE beschrieb zwei in der Veröffentlichung genannte Effizienztechniken im Detail:

• Spekulatives Dekodieren (DSpark): Ein kleines Entwurfsmodell schlägt jeweils fünf Token vor, und ein Konfidenz-Kopf sagt voraus, welche davon das Hauptmodell wahrscheinlich akzeptieren wird. Die Verifikationsrechenleistung wird nur für die wahrscheinlichsten Kandidaten aufgewendet, was die Zahl der pro Schritt geprüften Entwurfs-Token um etwa 30 % reduziert. DeepSeek schätzt einen Durchsatzgewinn von 4 % bis 7 % bei seiner Produktionslast.
• Reduziertes Prefill: Nur die letzten 128 Token jedes Prompts durchlaufen die Decoder-Schichten des Modells, was laut DeepSeek die gesamte Prefill-Berechnung nahezu halbiert.

Ein mit dem Code veröffentlichtes Bereitstellungs-Q&A besagt, dass ein Cluster 155 Billionen Token pro Tag verarbeitet und dass der Umsatz außerhalb der Spitzenzeiten etwa 38 US-Dollar pro GPU und Stunde beträgt. Dies sind DeepSeeks eigene Zahlen und wurden nicht unabhängig verifiziert. Berichte nennen außerdem SWA Bounded Replay als eine der unterstützten Fähigkeiten.

Was nicht enthalten ist

Die Veröffentlichung ist kein vollständiger Serving-Stack. Key-Value-Cache-Verwaltung und Lastverteilungscode werden nicht veröffentlicht, da sie laut DeepSeek eng mit der internen Infrastruktur des Unternehmens gekoppelt sind; ein Zhihu-Blogbeitrag beschreibt, wie beides funktioniert. Die Aufteilung von Prompt-Verarbeitung (Prefill) und Antwortgenerierung (Decode) auf getrennte Maschinen bleibt den Betreibern überlassen, obwohl die README besagt, dass der größte Teil der dafür erforderlichen Engine-Arbeit bereits vorhanden ist.

Die kleinste Bereitstellung, die DeepSeek als effizient beschreibt, nutzt 64 GPUs für Prefill und 64 für das Dekodieren. Laut The Next Web verwendete das Benchmark-Setup vier SM100-GPUs für die Prompt-Verarbeitung und 64 für die Ausgabegenerierung. Bloomberg merkte an, dass es noch keine unabhängigen Benchmarks gibt.

Herkunft und Reaktionen der Community

Die neue README nennt vLLM als ursprüngliche Grundlage von DeepInfer, mit Beiträgen von SGLang und Nvidias TensorRT-LLM. Es baut außerdem auf Kernel-Bibliotheken auf, die DeepSeek zuvor veröffentlicht hat: FlashMLA, DeepGEMM und DeepEP. Dies ist eine Abkehr vom April 2025, als DeepSeek erklärte, seine vollständige Inferenz-Engine sei ein früher vLLM-Fork gewesen, der mit seinen Cluster-Management-Tools verflochten war, und dass die Pflege eines großen Open-Source-Projekts die Kapazitäten eines kleinen Forschungsteams übersteige.

Die Reaktion erfolgte schnell. Bis Dienstagnachmittag hatte das Repository mehr als 8.000 GitHub-Sterne überschritten, und das vLLM-Projekt bedankte sich öffentlich bei DeepSeek und kündigte an, Ideen aus DeepInfer in die eigene V4.1-Flash-Unterstützung einfließen zu lassen. Einige chinesischsprachige Berichte nannten andere Daten für die Open-Source-Veröffentlichung und beschrieben die Veröffentlichung als Offline-Inferenzversion, sodass Details möglicherweise noch präzisiert werden, während sich das Repository weiterentwickelt.

Warum es für Entwickler wichtig ist

Für Forscher und Ingenieure bietet DeepInfer einen seltenen Einblick, wie ein großer Modellanbieter seine Modelle in großem Maßstab bereitstellt – vom spekulativen Dekodieren bis zu Prefill-Einsparungen. Cloud-Anbieter und Unternehmen, die selbst hosten, könnten diese Methoden übernehmen, um die Bereitstellungskosten zu senken. The Next Web wies außerdem darauf hin, dass Open-Weight-Modelle 23 % der Ausgaben über Vercels AI Gateway ausmachen – ein Zeichen dafür, wie groß die Nachfrage nach transparenter, selbst einsetzbarer KI-Infrastruktur ist.

Quellen: SiliconANGLE, The Next Web und chinesischsprachige Berichterstattung einschließlich IT之家.