DeepSeek 開源 DeepInfer：每日服務 155 兆 Token 的引擎，但未包含快取與負載平衡

新聞摘要

DeepSeek 已將 DeepInfer 完全開源，這是該公司用於在生產環境中提供模型服務的內部推論框架，同時釋出的還有 deepseek-recipe，一個將文字轉換為 token 並還原的配套程式庫，其行為與該公司官方 API 完全一致。這項消息於 2026 年 10 月 20 日星期二發布在 X 上（The Next Web 將其報導時間標記為 UTC 下午 2 點 08 分，約為美東時間上午 10 點 08 分），程式碼則以 Apache 2.0 授權發布在 GitHub 上。

DeepSeek 釋出了什麼

DeepInfer 位於 GitHub 儲存庫 deepseek-ai/DeepInfer 中。DeepSeek 在 X 上以「隆重介紹 DeepInfer，我們的內部推論框架，現已完全開源！」這句話介紹它，並將其用途描述為「以高吞吐量與低延遲大規模驅動 DeepSeek-V4.1-Flash」。

推論框架是為真實使用者運行已訓練模型的軟體層。它決定請求如何批次處理、工作如何分散到多個晶片上，以及每個 token 的產生速度。SiliconANGLE 在美東時間 10 月 20 日晚上 7 點 11 分更新的報導中表示，DeepSeek 將向眾多使用者提供大型模型服務的成本稱為「推論框架必須解決的核心問題」。

該儲存庫包含針對 DeepSeek 模型最佳化的程式碼、將工作分散到多個加速器的工具、推測性解碼、讓輸出在每次執行間保持完全一致的功能，以及強制答案符合設定格式（例如結構化輸出）的支援。DeepSeek 也表示，未來模型的推論程式碼將加入同一個儲存庫。

deepseek-recipe 配套程式庫

deepseek-recipe 與框架一同釋出。它使用與 DeepSeek 官方 API 相同的邏輯，將傳入的請求轉換為 token 序列。目標是維持一致性：自行託管 DeepSeek 模型的團隊應該看到與託管服務使用者相同的分詞與請求處理行為。有一篇技術部落格描述該程式庫以 Rust 撰寫並附帶 Python 綁定，但這個細節僅來自單一來源。

支援的模型與硬體

目前 DeepInfer 僅支援單一模型，即九月推出的 DeepSeek-V4.1-Flash。預設會載入在 10 月 18 日週末釋出的更新版「1017」。

支援的硬體包括 Nvidia SM100（Blackwell）資料中心 GPU 與華為 Ascend 950 NPU。Hopper 及更舊的 Nvidia 世代並未列入。有兩項可重現輸出的功能目前僅在 Nvidia 硬體上運作，而 DeepSeek 公布的所有基準測試都是在 Nvidia 晶片上執行的。Ascend 支援是在 9 月 30 日將 TileLang 核心語言帶到華為晶片的版本之後推出的。

技術重點

SiliconANGLE 詳細說明了釋出內容中描述的兩項效率技術：

• 推測性解碼（DSpark）：一個小型草稿模型一次提出五個 token，並由一個信心頭預測主模型可能接受哪些 token。驗證運算只花在最有可能的候選者上，這將每一步需要檢查的草稿 token 數量減少約 30%。DeepSeek 估計在其生產負載下可提升 4% 至 7% 的吞吐量。
• 減少預填：每個提示詞只有最後 128 個 token 會通過模型的解碼器層，DeepSeek 表示這幾乎將總預填運算量減半。

與程式碼一同發布的部署問答指出，單一叢集每日服務 155 兆個 token，而離峰時段的營收約為每顆 GPU 每小時 38 美元。這些是 DeepSeek 自行提供的數字，尚未經過獨立驗證。報導也將 SWA 有界重播列為支援的功能之一。

未包含的部分

這次釋出並非完整的服務堆疊。鍵值快取管理與負載平衡程式碼並未公開，因為 DeepSeek 表示它們與其內部基礎架構緊密耦合；一篇知乎部落格文章描述了這兩者的運作方式。將提示詞處理（預填）與答案生成（解碼）拆分到不同機器上的做法留給營運者自行處理，不過 README 表示所需的大部分引擎工作已經就緒。

DeepSeek 描述為有效率的最小部署使用 64 顆 GPU 進行預填，64 顆進行解碼。根據 The Next Web 的報導，其基準測試設定使用四顆 SM100 GPU 進行提示詞處理，64 顆進行輸出生成。Bloomberg 指出目前尚無獨立基準測試。

血統與社群反應

新的 README 指出 vLLM 是 DeepInfer 最初的基礎，並參考了 SGLang 與 Nvidia 的 TensorRT-LLM。它還建立在 DeepSeek 先前釋出的核心程式庫之上：FlashMLA、DeepGEMM 與 DeepEP。這與 2025 年 4 月的情況有所不同，當時 DeepSeek 表示其完整推論引擎是早期 vLLM 分支，與其叢集管理工具糾纏在一起，而維護大型開源專案超出了小型研究團隊的能力範圍。

社群反應迅速。到了週二下午，該儲存庫已獲得超過 8,000 顆 GitHub 星，vLLM 專案也公開感謝 DeepSeek，並表示會將 DeepInfer 的想法應用到自家的 V4.1-Flash 支援上。部分中文報導對開源時間給出了不同日期，並將此次釋出描述為離線推論版本，因此細節可能隨著儲存庫演進而有所修正。

對開發者的意義

對研究人員與工程師而言，DeepInfer 提供了一個難得的機會，一窺大型模型供應商如何大規模提供模型服務，從推測性解碼到預填節省。雲端供應商與自行託管的公司可以採用這些方法來降低服務成本。The Next Web 也指出，開放權重模型占 Vercel AI Gateway 支出的 23%，顯示市場對透明、可自行部署的 AI 基礎架構有多大的需求。

來源：SiliconANGLE、The Next Web，以及包括 IT之家在內的中文報導。