2026 年 10 月 20 日，DeepSeek 把支撑自家线上服务的内部推理框架 DeepInfer 全面开源（Apache 2.0），并同步开放了与官方 API 处理逻辑完全对齐的 Token 编解码组件 deepseek-recipe（MIT）。本文回答三个问题：这个框架是如何工作的，这次开源为什么重要，它的影响与限度分别在哪。文中所有性能数字均为 DeepSeek 官方口径，本文未做独立实测。
先说问题：为什么推理框架值得一篇长文
一个常见误解是：模型开源了，服务能力就自动到手了。实际不是。训练让模型「学有所成」，推理才让模型「为人所用」——当海量用户同时调用时，负责统筹调度庞大算力集群的中间层就是推理框架。它的效率直接决定两件事：AI 服务的算力成本，和电力消耗。
DeepSeek 官方给了一组可以感受量级的数字：基于 DeepInfer，其单一集群每天服务吞吐达到 155 万亿 Tokens，整体收入为每卡每小时 38 美金（按谷价计）。换句话说，模型能力边界由模型划定，但「能不能便宜地用」由推理框架决定。这一层长期不被公众了解，却是大模型服务真正的发动机舱。
DeepInfer 是什么：两层开源，各管一段
这次开源是两个仓库，职责分得很清楚：
| 组件 | 定位 | 关键内容 | 许可证 |
|---|---|---|---|
| DeepInfer | 高性能推理引擎 | 优化算子、模型与采样运行时、分布式并行、推测解码、异步调度 | Apache 2.0 |
| deepseek-recipe | 生产级 Token 编解码组件 | 协议转换、提示词渲染、Token 编码、流式解析，与官方 API 处理逻辑完整对齐 | MIT |
有几个背景信息值得交代清楚，避免高估或低估它：
- 支持范围：当前明确支持的模型是 DeepSeek-V4.1-Flash，硬件是 NVIDIA SM100 GPU 与华为昇腾 950 NPU 两类平台（分别要求 CUDA 13 / CANN 9.2）。
- 技术出身：官方在 README 中明确说明，DeepInfer 最初主要基于 vLLM 构建，并参考了 SGLang 与 TensorRT-LLM。它不是从零造轮子，而是把自家算子库（FlashMLA、DeepGEMM、DeepEP 等）装进了一条可审查的引擎执行路径。
- 发布形态：本次开源提供离线推理接口与大规模服务所需的核心特性，不是一键部署的完整服务端产品。
它是如何工作的：跟着一次请求走一遍
理解 DeepInfer 最好的方式，是看一次请求在生产架构里的完整旅程。
关键设计是把视觉编码、Prefill、Decode 三段拆开，各自分配资源：
- Prefill（计算输入、决定首 token 延迟）用能装进显存的最小实用并行组，官方口径是 EP/DP 约 2 到 8 卡；
- Decode（逐 token 生成、靠跨请求凑批吃吞吐）用宽专家并行，通常 EP/DP 64 到 128 卡，在同一个 scale-up 通信域内。
拆开的好处是两段可以独立扩缩，分别压住首 token 时间（TTFT）和 token 间隔（TBT）——前者决定用户「等多久开始看到字」，后者决定「字出来得多快」。
引擎内部有四个值得记住的机制：
- DSpark 推测解码 + 置信度调度验证：一次提出最多 5 个草稿 token，用置信度估计调度验证，猜中的整段收下，一次前向产出多个 token。这是低延迟的直接抓手。
- SWA Bounded Replay：滑窗注意力的缓存只重放有界的后缀（默认配置保留 140 个 token），把长上下文的重算开销封顶。
- 批量不变推理 + 确定性采样：同样的输入与采样参数，无论落进哪个批次都得到同样输出（当前仅 NVIDIA）。对调试、评测与回归测试是实打实的福利。
- 结构化输出：用 regex、JSON Schema 或 EBNF 约束生成，模型输出天然就是程序可直接消费的格式。
性能基准方面，官方只发布了帕累托曲线而非单一速度值，测量口径是 Prefill 用 4 张 SM100、Decode 用 64 张，各在一个 scale-up 域内，并提供了复现脚本。只给曲线不给头条数字，这个选择本身传递的信息是：吞吐和延迟是一组权衡，部署者应按自己的业务取点。
开源开到哪、没开到哪
按《收录规范》的要求，边界必须说清楚。DeepInfer 的 README 明确列出了「完整推理服务还需要、但本次开源不包含」的部分：
| 状态 | 内容 |
|---|---|
| ✅ 已包含 | 引擎本体：优化算子、并行策略、推测解码、异步调度、采样、结构化输出、离线推理接口 |
| ❌ 未包含 | KV 缓存系统（跨请求的分布式缓存管理） |
| ❌ 未包含 | VE / Prefill / Decode 分离部署的完整编排（多数引擎侧能力已实现，但串联编排要自己做） |
| ❌ 未包含 | 跨数据并行副本的负载均衡（Prefill 与 Decode 都要） |
所以准确的定位是：这是一份生产级参考实现——你可以看到 DeepSeek 真实在用的引擎执行路径，但要把一个完整的推理服务跑起来，还需要自己补齐缓存、编排与负载均衡三块。它目前也不是 vLLM 或 SGLang 的即插即用替代品。
开源的意义：算三笔账
**第一笔，给企业和开发者的账。**私有化与公有云部署第一次拿到了与 DeepSeek 官方 API 同源的推理栈：引擎同源、编解码组件与官方 API 处理逻辑完整对齐。算力开销怎么省、能耗怎么降，路径是公开可审查的，而不是黑盒里的商业机密。
**第二笔，给行业的账。**DeepInfer 同时兼容英伟达 SM100 与华为昇腾 950——这是继 9 月底开源昇腾平台基础设施组件（TileLang 编译工具、计算库、分布式通信库）之后，国产算力生态拿到的又一份生产级参考。推理效率提升还附带一个经常被低估的外部性：同样的智能消耗更少的电。
**第三笔，给 DeepSeek 自己的账。**开源不是慈善。从 FlashMLA、DeepGEMM、DeepEP 到 TileLang，再到这次的 DeepInfer，DeepSeek 在做的事是把「模型之外」的每一层逐步变成公共基础设施，让竞争回到自己最擅长、成本结构最有优势的地方。官方同时承诺：未来新模型的推理代码与后续优化会在这个仓库持续更新——仓库的活跃度（开源次日即有第三方提交被合入）初步印证了这个姿态。
影响与限度
影响方面，可以预期三条线：推理服务的成本曲线继续下移，普惠门槛降低；英伟达与昇腾双平台获得可对照的生产级实现，国产算力软件生态加速补课；头部模型的竞争维度进一步从「榜单分数」转向「单位 token 的综合成本」。
限度同样清楚：当前只支持一个模型、两类硬件；离线推理之外的完整服务端要自行搭建；昇腾平台的性能数据官方尚未与 NVIDIA 并列发布，横向对比仍是空白。对多数中小团队，短期内更现实的用法是研读其调度与算子设计、反哺自己的部署选型，而不是直接迁移生产。
推理框架从「公司机密」变成「公共设施」，这一步的象征意义可能大于任何一个具体数字——它把「大模型服务到底贵在哪」这个问题，摊开在了阳光下。
来源与核对说明
- DeepInfer 特性、支持范围、未包含项、环境要求与基准口径：deepseek-ai/DeepInfer README，2026-10-22 抓取核对；
- 开源公告与「155 万亿 Tokens/天、每卡每小时 38 美金（按谷价）」：DeepSeek 官方公告口径，经 TechWeb、IT之家、腾讯新闻 2026-10-20 报道转述；
- 生产架构（Prefill/Decode 并行规模、三段拆分）：deepseekv4pro.com 对官方部署报告的解读，2026-10-22 核对，图 2 依此重绘；
- 本文三张配图为作者绘制的示意图，非官方原图；本文未在真实 GPU 环境实测 DeepInfer，全部性能数据为官方口径。
