DeepSeekがDeepInferを公開：1日155兆トークンを処理するエンジン、キャッシュと負荷分散は非公開

ニュース概要

DeepSeekは、本番環境でモデルを提供するために社内で使用している推論フレームワーク「DeepInfer」を、テキストをトークンに変換し、また元に戻す処理を同社の公式APIとまったく同じように行う付属ライブラリ「deepseek-recipe」とともに完全にオープンソース化した。発表は2026年10月20日火曜日にX（旧Twitter）に投稿された（The Next Webは記事のタイムスタンプをUTC午後2時8分、米国東部時間では午前10時8分頃と記録している）。コードはApache 2.0ライセンスでGitHubに公開されている。

DeepSeekが公開したもの

DeepInferはGitHubリポジトリ「deepseek-ai/DeepInfer」で公開されている。DeepSeekはXで「Introducing DeepInfer, our in-house inference framework, now fully open source!」という言葉とともに発表し、その目的を「DeepSeek-V4.1-Flashを大規模に、高いスループットと低レイテンシで動かすこと」と説明した。

推論フレームワークとは、学習済みモデルを実際のユーザー向けに実行するソフトウェア層のことである。リクエストをどのようにバッチ処理するか、多数のチップに作業をどう分散させるか、各トークンをどれだけ速く生成するかを決定する。SiliconANGLEは10月20日米国東部時間午後7時11分更新の記事で、DeepSeekは大規模モデルを多数のユーザーに提供するコストを「推論フレームワークが解決すべき中核的問題」と呼んでいると報じた。

このリポジトリには、DeepSeekのモデル向けに最適化されたコード、多数のアクセラレータに作業を分散するツール、投機的デコーディング、実行ごとに出力を同一に保つ機能、構造化出力などの決められた形式に回答を強制するサポートが同梱されている。DeepSeekはまた、将来のモデル向け推論コードも同じリポジトリに追加されると述べている。

付属ライブラリ「deepseek-recipe」

deepseek-recipeはフレームワークと同時に公開された。受信したリクエストを、DeepSeekの公式APIと同じロジックでトークン列に変換する。目的は一貫性である。DeepSeekモデルを自前でホストするチームは、ホスト型サービスを利用するユーザーが得るのと同じトークン化とリクエスト処理の挙動を確認できるはずだ。ある技術ブログは、このライブラリがRustで書かれ、Pythonバインディングを備えていると説明したが、その詳細は単一の情報源によるものである。

対応モデルとハードウェア

現時点でDeepInferがサポートするモデルは、9月に発表されたDeepSeek-V4.1-Flashの1つのみである。デフォルトでは、10月18日の週末にリリースされた更新版「1017」を読み込む。

対応ハードウェアには、Nvidia SM100（Blackwell）データセンターGPUとHuawei Ascend 950 NPUが含まれる。Hopper以前のNvidia世代は記載されていない。再現可能な出力機能のうち2つは現在Nvidiaハードウェアでのみ動作し、DeepSeekが公開したベンチマークはすべてNvidiaチップ上で実行された。Ascend対応は、TileLangカーネル言語をHuaweiチップにもたらした9月30日のリリースに続くものである。

技術的ハイライト

SiliconANGLEは、リリースで説明された2つの効率化技術を詳しく報じた。

• 投機的デコーディング（DSpark）：小型のドラフトモデルが一度に5つのトークンを提案し、信頼度ヘッドがメインモデルが受け入れる可能性の高いものを予測する。検証計算は最も有力な候補にのみ費やされ、ステップごとにチェックされるドラフトトークン数が約30%削減される。DeepSeekは、本番負荷で4%から7%のスループット向上を見込んでいる。
• プレフィル削減：各プロンプトの最後の128トークンのみがモデルのデコーダ層を通過する。DeepSeekによれば、これによりプレフィル計算量がほぼ半減する。

コードとともに公開されたデプロイメントQ&Aによると、1つのクラスタで1日155兆トークンを処理しており、オフピーク時の収益はGPU1台あたり1時間約38ドルになるという。これらはDeepSeek自身の数字であり、独立した検証は行われていない。報道では、対応機能の中にSWA Bounded Replayも挙げられている。

含まれていないもの

このリリースは完全なサービングスタックではない。キーバリューキャッシュ管理と負荷分散のコードは公開されていない。DeepSeekによれば、これらは社内インフラと密接に結合しているためであり、Zhihuのブログ記事が両方の仕組みを説明している。プロンプト処理（プレフィル）と回答生成（デコード）を別々のマシンに分割することは運用者に委ねられているが、READMEにはそのために必要なエンジン作業の大部分はすでに実装済みだと記されている。

DeepSeekが効率的だと説明する最小構成は、プレフィル用に64基、デコード用に64基のGPUを使用する。The Next Webによると、ベンチマーク構成ではプロンプト処理に4基のSM100 GPU、出力生成に64基を使用した。Bloombergは、独立したベンチマークはまだ存在しないと指摘した。

系譜とコミュニティの反応

新しいREADMEでは、DeepInferの元々の基盤としてvLLMを挙げ、SGLangとNvidiaのTensorRT-LLMからのインプットも認めている。また、DeepSeekが以前に公開したカーネルライブラリであるFlashMLA、DeepGEMM、DeepEPの上に構築されている。これは2025年4月の姿勢からの転換である。当時DeepSeekは、自社の完全な推論エンジンはクラスタ管理ツールと絡み合った初期のvLLMフォークであり、大規模なオープンソースプロジェクトの維持は小規模な研究チームの手に余ると述べていた。

反応は迅速だった。火曜日の午後までにリポジトリはGitHubで8,000スターを超え、vLLMプロジェクトは公にDeepSeekに謝意を示し、DeepInferのアイデアを自社のV4.1-Flash対応に適用すると述べた。中国語の報道の中には、オープンソース化の日付が異なるものや、このリリースをオフライン推論版と説明するものもあり、詳細はリポジトリの進化に伴って精緻化される可能性がある。

開発者にとっての意義

研究者やエンジニアにとって、DeepInferは大手モデルプロバイダーが投機的デコーディングからプレフィル削減まで、どのように大規模にモデルを提供しているかを垣間見る貴重な機会となる。クラウドプロバイダーや自社ホスティング企業は、これらの手法を採用してサービングコストを削減できる可能性がある。The Next Webはまた、オープンウェイトモデルがVercelのAI Gatewayにおける支出の23%を占めていると指摘しており、透明性が高く自己デプロイ可能なAIインフラへの需要の大きさを示している。

情報源：SiliconANGLE、The Next Web、IT之家を含む中国語の報道。