DeepSeek 开源 DeepInfer：日均服务 155 万亿 token 的推理引擎，不含缓存与负载均衡

新闻摘要

DeepSeek 已全面开源 DeepInfer——其用于在生产环境中服务模型的内部推理框架，同时发布的还有配套库 deepseek-recipe，后者能够像公司官方 API 一样精确地将文本转换为 token 并还原。该消息于 2026 年 10 月 20 日星期二发布在 X 上（The Next Web 的报告标注时间为 UTC 下午 2:08，约为美国东部时间上午 10:08），代码以 Apache 2.0 许可证发布在 GitHub 上。

DeepSeek 发布了什么

DeepInfer 位于 GitHub 仓库 deepseek-ai/DeepInfer 中。DeepSeek 在 X 上以“隆重推出 DeepInfer，我们的内部推理框架，现已全面开源！”作为介绍，并将其用途描述为“以高吞吐量和低延迟大规模驱动 DeepSeek-V4.1-Flash”。

推理框架是为真实用户运行已训练模型的软件层。它决定请求如何批处理、工作如何分布在众多芯片上，以及每个 token 的生成速度。SiliconANGLE 在 10 月 20 日美国东部时间晚上 7:11 更新的一份报告中称，DeepSeek 将向众多用户服务大模型的成本称为“推理框架必须解决的核心问题”。

该仓库捆绑了针对 DeepSeek 模型的优化代码、跨多个加速器分配工作的工具、投机解码、保证多次运行输出一致的功能，以及对强制输出为设定格式（如结构化输出）的支持。DeepSeek 还表示，其未来模型的推理代码也将添加到同一仓库中。

deepseek-recipe 配套库

deepseek-recipe 与框架一同发布。它使用与 DeepSeek 官方 API 相同的逻辑将传入请求转换为 token 序列。目标是保持一致性：自行托管 DeepSeek 模型的团队应当获得与托管服务用户相同的分词和请求处理行为。一篇技术博客称该库使用 Rust 编写并带有 Python 绑定，但这一细节仅来自单一来源。

支持的模型与硬件

目前，DeepInfer 仅支持一个模型，即 9 月推出的 DeepSeek-V4.1-Flash。默认情况下，它会加载 10 月 18 日周末发布的更新版“1017”。

支持的硬件包括 Nvidia SM100（Blackwell）数据中心 GPU 和华为昇腾 950 NPU。Hopper 及更早的 Nvidia 世代未在列表中。两项可复现输出功能目前仅在 Nvidia 硬件上可用，而 DeepSeek 发布的所有基准测试均在 Nvidia 芯片上运行。昇腾支持是在 9 月 30 日将 TileLang 内核语言引入华为芯片的发布之后实现的。

技术亮点

SiliconANGLE 详细介绍了发布说明中描述的两项效率技术：

• 投机解码（DSpark）：一个小型草稿模型一次提出五个 token，置信度头预测主模型可能接受哪些 token。验证计算只花在最有可能的候选项上，使每步检查的草稿 token 数量减少约 30%。DeepSeek 估计在其生产负载下可获得 4% 到 7% 的吞吐量提升。
• 缩减预填充：每个提示只有最后 128 个 token 通过模型的解码器层，DeepSeek 称这几乎将总预填充计算量减半。

随代码一起发布的部署问答显示，一个集群每天服务 155 万亿 token，非高峰时段的收入约为每 GPU 每小时 38 美元。这些是 DeepSeek 自己提供的数据，尚未经过独立验证。报道还提到 SWA 有界回放属于受支持的能力之一。

未包含的内容

该发布并非完整的服务栈。键值缓存管理和负载均衡代码未公开，因为 DeepSeek 表示它们与其内部基础设施紧密耦合；一篇知乎博客文章描述了这两者的工作原理。将提示处理（预填充）和答案生成（解码）拆分到不同机器上的工作留给运维人员完成，不过 README 表示所需的大部分引擎工作已经就位。

DeepSeek 描述为高效的最小部署使用 64 个 GPU 进行预填充，64 个 GPU 进行解码。据 The Next Web 报道，其基准测试设置使用 4 个 SM100 GPU 进行提示处理，64 个 GPU 进行输出生成。彭博社指出，目前还没有独立的基准测试。

渊源与社区反响

新版 README 将 vLLM 列为 DeepInfer 的原始基础，并吸收了 SGLang 和 Nvidia 的 TensorRT-LLM 的经验。它还构建在 DeepSeek 此前发布的内核库之上：FlashMLA、DeepGEMM 和 DeepEP。这与 2025 年 4 月的情况相比是一个转变，当时 DeepSeek 表示其完整推理引擎是一个早期的 vLLM 分支，与其集群管理工具纠缠在一起，而维护一个大型开源项目超出了小型研究团队的能力范围。

反响十分迅速。到周二下午，该仓库已获得超过 8000 个 GitHub star，vLLM 项目公开感谢 DeepSeek，并表示将把 DeepInfer 的思路应用到自己的 V4.1-Flash 支持中。一些中文报道给出的开源日期不同，并将该发布描述为离线推理版本，因此细节可能随着仓库的演进得到修正。

对开发者的意义

对于研究人员和工程师而言，DeepInfer 提供了一个难得的机会，可以了解一家大型模型提供商如何大规模服务其模型，从投机解码到预填充节省。云服务提供商和自行托管公司可以借鉴这些方法来降低服务成本。The Next Web 还指出，开放权重模型占 Vercel AI Gateway 支出的 23%，这表明市场对透明、可自行部署的 AI 基础设施需求巨大。

来源：SiliconANGLE、The Next Web，以及包括 IT之家在内的中文报道。