优壹科技发布4节点DGX-Spark本地部署方案
优壹科技针对20人规模团队落地一套AI集群方案。该方案由4台NVIDIA DGX-Spark与云融芯联AS8520-4D高速交换机组成。实测显示,8人并发时1K-4K短上下文首字响应为1.3-3.1秒,输出吞吐量稳定在220 token/s以上。处理8K输入首字响应约8.5秒。32K至128K超长文档任务可转入后台异步队列。网络采用双200G双Rail链路,集合通信带宽达20GB/s,满载运行核心数据队列零新增丢包。方案支持后续平滑扩容至8台规模。
要点速览
- 优壹科技发布4节点DGX-Spark本地部署方案
- 8并发场景首字响应1.3-3.1秒
- 32K至128K长文档支持异步队列处理
- 关键数字:4节点、220 token/s、20GB/s带宽
本文为移动通信网(MSCBSC)整理发布的行业快讯。

