DeepSeek全面开源内部推理框架DeepInfer

10月20日，DeepSeek宣布全面开源其内部推理框架DeepInfer。此举建立在该公司此前开源一系列大模型、TileLang编译工具及推理算子库的基础之上。推理框架负责统筹调度庞大算力集群，其运行效率直接决定AI服务的算力成本与电力消耗。

DeepInfer集成高性能算子与深度优化推理引擎，支持分布式推理、推测解码、SWA Bounded Replay及结构化输出等功能，兼容英伟达与华为昇腾平台。基于该框架，DeepSeek实现了V4.1 Flash高吞吐、低延迟的大规模推理服务。同步开源的deepseek-recipe编解码组件与官方API处理逻辑完整对齐。未来新模型推理代码及优化将持续更新。