移动通信网 林知远
10月20日，DeepSeek宣布在已开源的大模型系列、TileLang编译工具及推理算子库基础上，将其内部推理框架DeepInfer全面开源。这一动作补齐了DeepSeek开源体系中最关键的“中间层”拼图——从模型权重、编译工具链、算子库到推理框架的全栈开源，在全球大模型厂商中极为罕见。DeepSeek在公告中明确指出，大模型的能力边界由模型本身划定，但如何以合理成本提供超大规模模型服务，取决于推理框架这一中间层的统筹调度效率，其直接决定了AI服务的算力成本与电力消耗。目前，DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务正是基于DeepInfer实现，未来DeepSeek新模型的推理代码及后续优化也将持续在该框架中更新，这意味着开源仓库将成为观察DeepSeek推理技术演进的第一手窗口。对于整个行业而言，头部模型厂商将生产级推理框架完整开放，标志着大模型竞争正从“模型性能”单点竞赛转向“模型加基础设施”的体系化竞争。
【关键数据】
[1] 推理延迟降低30%至50%(推测解码业界普遍水平)
[2] 推理成本占AI服务运营成本50%以上
[3] 兼容2大算力平台(英伟达CUDA与华为昇腾)
[4] 框架集成4项核心能力(分布式推理、推测解码、SWA Bounded Replay、结构化输出)
[5] DeepSeek开源模型社区衍生产物数月内达千万级下载部署量
从技术架构看，DeepInfer推理框架集成了高性能算子与深度优化的推理引擎，核心能力覆盖四个方向：分布式推理、推测解码、SWA Bounded Replay以及结构化输出。分布式推理解决的是单个加速器显存无法容纳超大参数量模型的切分与调度问题；推测解码通过小模型草拟、大模型验证的方式提升单位时间Token产出，业界实践普遍可将推理延迟降低30%至50%;SWA Bounded Replay针对滑动窗口注意力机制在长上下文下的KV缓存管理进行优化，控制显存占用随序列长度增长的速度；结构化输出则保障JSON等严格格式场景下的输出合规性。尤为关键的是，DeepInfer同时兼容英伟达CUDA生态与华为昇腾平台，这一双平台适配在开源推理框架中并不多见，意味着企业可在异构算力环境下以统一框架完成部署，降低迁移成本。同步开源的还有deepseek-recipe编解码组件——一个生产级Token编解码组件，与DeepSeek官方API处理逻辑完整对齐，确保社区开发者获得与官方部署完全一致的API体验，消除了以往开源推理实现与官方服务之间常见的Token切分差异问题。
从竞争格局看，开源推理框架领域目前主要由vLLM、SGLang、TensorRT-LLM等占据主导。vLLM凭借PagedAttention技术积累了最广泛的社区基础，SGLang在结构化输出与高并发场景表现突出，TensorRT-LLM则依托英伟达硬件深度优化。DeepInfer的入场带来了一个差异化变量：它是极少数经过超大规模商业服务验证、又同时兼容英伟达与昇腾双平台的厂商原生框架。市场研究机构数据显示，2024年全球AI推理市场规模已超过模型训练市场，推理算力需求占AI算力总需求的比重持续攀升，多家云厂商财报中推理收入增速显著高于训练收入。DeepSeek此前开源的模型已在全球开发者社区引发广泛关注，其API定价策略曾迫使多家头部厂商下调推理服务价格，带动行业推理成本在一年内下降超过一个数量级。此番开源推理框架，相当于把降本的“方法论”也公开化，对vLLM等社区框架将形成直接的技术竞争压力，同时为国产昇腾生态补上了缺乏一线厂商生产级推理框架支撑的短板。
产业链层面，DeepInfer开源的影响将沿上下游两个方向传导。上游看，推理框架对算子的调用深度决定了芯片的发挥空间，DeepInfer开源的算子库与TileLang编译工具此前已暴露出DeepSeek在算子层面的深度自研路线——不完全依赖芯片厂商的官方库，而是通过自研编译工具生成贴近硬件特性的高性能算子。这种“框架加算子加编译器”的垂直整合开源，为芯片厂商提供了明确的优化对照基准，也为昇腾等非CUDA平台绕开生态壁垒提供了现实路径。下游看，推理成本占AI服务运营成本的比重普遍在50%以上，其中电力消耗与GPU折旧是两大头。DeepSeek在公告中反复强调降低算力成本、减少能源消耗，其逻辑在于：框架层的吞吐效率每提升一个百分点，折算到超大规模集群上就是可观的电力与硬件节约。对于需要私有化部署的企业而言，此前基于开源模型自建推理服务的隐性成本之一就是缺少生产级框架，DeepInfer的开放直接压缩了这一环节的工程成本与试错周期。
商业化落地方面，DeepInfer的开放为三类场景提供直接支撑。第一类是需要私有化部署的企业与机构，金融、政务、医疗等行业对数据不出域有硬性要求，DeepInfer加deepseek-recipe组件的组合使其能在本地复现与官方一致的API体验，显著降低私有化部署的工程门槛。第二类是云服务商与推理服务商，可将DeepInfer作为高密度推理底座，结合其分布式推理与推测解码能力提升单卡并发数，摊薄单位Token成本。第三类是科研机构，可基于该框架复现DeepSeek V4.1 Flash的推理服务并进行二次创新。DeepSeek在公告中援引“为善与众行之，为巧与众能之”表达其开源理念，并承诺继续支持社区进行大规模部署优化。从过往记录看，DeepSeek开源模型后社区衍生产物的下载与部署量在数月内即达到千万级规模，此次框架层开源有望带动社区围绕昇腾平台适配、长上下文优化、多机推理调度等方向形成新的开发者生态，加速开源推理技术从“能用”向“好用且省电”演进。
行业层面看，DeepSeek此番动作将进一步改变大模型基础设施的开源版图。此前开源社区的大模型推理优化多依赖第三方框架反向适配，模型厂商主动开放生产级推理框架并承诺持续同步新模型推理代码，确立了“模型与框架同步开源”的新范式，其他头部厂商将面临是否跟进的抉择。从全球视角看，DeepSeek在公告中提出希望全球AI服务的范围与质量获得扩展，变得更加公平、透明、可信赖，让有限资源以更高效率在基础设施与用户终端之间流转——这一定位将开源从技术策略上升为算力普惠的行业主张。对国产算力生态而言，英伟达与昇腾双平台兼容的框架获得头部模型厂商背书，有助于缓解非CUDA生态在软件层面的劣势。后续可观测的节点包括：DeepSeek下一代模型推理代码在DeepInfer仓库的同步节奏、社区针对昇腾平台的适配进展，以及vLLM、SGLang等框架是否会吸收DeepInfer的关键优化思路，这些将共同决定开源推理基础设施的下一阶段格局。
