DeepSeek开源DeepInfer推理框架并公布集群吞吐与收入数据

10月20日，DeepSeek正式开源内部大规模云服务推理框架DeepInfer。该框架用于支撑DeepSeek V4.1 Flash模型的高吞吐、低延迟线上推理服务。同步发布的技术报告显示，目前单一集群服务吞吐量为155万亿Tokens/天，整体收入为每卡每小时38美元（按谷价）。

DeepInfer集成高性能算子与深度优化的推理引擎，支持分布式推理及推测解码功能，可在英伟达与华为昇腾平台上运行。DeepSeek称，此次开源旨在分享内部部署经验，协助开发者与企业组织优化大规模推理的吞吐与延迟，以降低算力成本与能源消耗。