移动通信网 云坪
10月28日,国产GPU厂商天数智芯在上海举办媒体开放日活动,旗舰通用GPU天垓300首次面向媒体开放实机演示,并与英伟达H200进行多场景对标实测。数据显示,在64K长上下文下,天垓300的Attention性能达到H200的1.05倍;GLM-5.3模型64K规模下,在保障同等用户体验的前提下,MoE吞吐为H200的1.15倍;8K至128K长上下文场景中,Agent首字延迟较H200降低约10%—30%。此外,多模态生成推理吞吐提升约2%—5%,搜广推等在线推荐业务中推理吞吐提升21%、轻量计算时延降低26%。这组数据标志着国产通用GPU首次在多类关键负载上进入与国际主流高水平GPU直接比较的区间。背景层面,大模型应用爆发推动算力需求急剧攀升,日均Token调用量较2024年初增长上千倍,“Token工厂”成为算力规模化落地的主流形态,也是对算力可用性、经济性与易用性三要素的集中检验场。天垓300的各项实测表现显示,其已能够满足Token工厂对算力的实际工程要求,国产GPU的竞争维度正从“可用”转向“好用”与“用得起”。
【关键数据】
[1] GLM-5.3模型64K规模下天垓300 MoE吞吐为H200的1.15倍
[2] 天垓300 IXL144超节点单机柜集成144颗GPU、聚合约10.1TB显存
[3] GPU+XPU异构AFD分离方案实测Decoding推理延迟降低60%
[4] 彤央TY1200端侧算力终端标称300 TOPS稠密算力
[5] 每百万有效Token成本较国际主流方案降低约40%
从技术架构看,天垓300的创新不仅体现在单卡性能,更体现在系统级协同能力。天垓300提供开放、可组合的异构计算平台方案,以通用GPU为底座,支持混合训练、PD分离与AFD分离等多种部署形态,可与其他厂商的加速卡、专用芯片协同工作。以AFD分离架构为例,天垓300承担Prefill全流程计算与解码阶段的Attention计算,合作厂商的XPU承担FFN专家网络,两类芯片在统一调度下异构协同,实测Decoding推理延迟可降低60%。该方案已实际跑通,是国内第一个基于GPU+XPU异构部署的AFD分离方案。天数智芯AI与加速计算负责人单天逸表示,未来的AI算力系统不一定由一种芯片包打天下,关键在于如何把不同芯片高效组织起来,让整个系统发挥更大价值。这种开放异构思路使客户能够充分利用已有算力资产,避免单一供应商锁定,以更灵活的方式构建适合自身业务特性的计算系统,对正处于多元算力建设期的国内市场具有直接的现实价值。
在规模化交付侧,天垓300已形成从加速卡、一机8卡服务器到超节点的完整系统方案。其中天垓300 IXL144超节点在单个标准机柜内集成144颗GPU、聚合约10.1TB显存,是目前业界密度最高的单机柜GPU超节点,据测算其每百万有效Token成本较国际主流方案可降低约40%。这一成本优势对价格敏感的国内互联网与行业客户具有直接吸引力。对照国际竞品,英伟达H200配备141GB HBM3e显存,依托NVLink与InfiniBand构建Scale-up和Scale-out互联体系,其生态成熟度仍是国产厂商短期内难以企及的壁垒;而天垓300选择在互联与系统层面寻求差异化突破——其新一代P2P互联引擎同时面向Scale-up和Scale-out,目标是将域内单次传输延迟由目前的3—5微秒降至1微秒,并支持统一内存语义编程与大EP(专家并行)部署,将MoE模型的专家权重分散到更多核心。在国内GPU市场,华为昇腾、寒武纪、沐曦、摩尔线程等厂商均在加速卡与超节点方向布局,天垓300以实测数据公开对标H200的做法,将国产GPU竞争推向了以透明数据说话的新阶段。
从产业链角度分析,天垓300的异构协同方案对上下游均产生结构性影响。上游方面,GPU+XPU的AFD分离架构意味着国产AI芯片不再必须单独对标英伟达全系产品,专用推理芯片、DSA加速器厂商获得了与通用GPU组网出货的市场空间,国内芯片设计、先进封装与高速互联产业链的协同需求显著提升。下游方面,互联网大厂与行业客户在建设Token工厂时,可将存量算力资产纳入统一调度,降低整体TCO。成本结构上,超节点方案通过高密度集成摊薄单位算力成本——IXL144单机柜144颗GPU的密度设计减少了机房空间、供电与散热开支,配合每百万有效Token成本约40%的降幅,构成了对采购决策有说服力的经济账。互联层面,P2P引擎将单次传输延迟从3—5微秒向1微秒推进,直接影响大模型训练与推理中通信开销占比,通信成本在大规模分布式训练中通常占总时延的30%以上,互联性能的改善等同于释放有效算力,这也是超节点架构成为业界共识的技术根因。
商业化落地层面,天垓300的实测场景已覆盖大语言模型、文生图、文生视频等生成式AI主流负载,活动现场开放与H200的对比测试,接受第三方验证,这种透明度在国内GPU厂商中并不多见。软件生态方面,天数智芯副总裁石加圣围绕“易于使用、易于优化、易于开发”三个层次,展示了天数智算软件栈全面拥抱Agentic AI的布局:将GPGPU工程师在模型适配、性能调优中积累的方法沉淀为可调用的工具与技能,让模型和应用开发者能在自身工作流中复用专家经验,自主完成优化,缩短硬件性能向业务价值转化的周期。端侧布局同步推进,彤央TY1200端侧算力终端标称300 TOPS稠密算力而非行业惯用的稀疏峰值,在Qwen3.8-27B、Qwen3.6-35B-A3B等模型实测中性能达NVIDIA Thor T5000的1.2倍。落地案例包括:储能电芯研究中TY1200支持科研智能体自动采集治理实验数据并在约2分钟内生成报告;应急视觉识别场景中端侧CV与多模态大模型交叉验证,将识别准确率由70%提升至95%;搭载TY1200的陪诊机器人已在上海市阳光康复中心服务视障人士,承担导诊、分诊与带路任务。
从行业趋势看,天垓300此番公开对标H200,折射出国产GPU竞争逻辑的三重转变:一是从对标国产同类转向直接对标国际旗舰,1.05倍的Attention性能、1.15倍的MoE吞吐和21%的推荐推理吞吐提升,构成了可验证的竞争坐标;二是从单芯片竞争转向系统级竞争,超节点、异构协同、互联引擎成为新的决胜维度,IXL144单机柜144颗GPU、10.1TB显存的密度设计即是明证;三是从硬件竞争转向软硬协同与生态竞争,Agentic AI软件栈试图用智能体方式解决开发者生态这一国产GPU最薄弱的环节。单天逸所言“未来的AI算力系统不一定由一种芯片包打天下”,实际上指出了多元异构算力体系的建设路径——在先进制程受限的现实约束下,通过架构创新、系统优化与异构组合逼近乃至超越单芯片性能天花板,是国内算力产业可复制的技术路线。天垓300的实测数据表明,国产通用GPU与国际旗舰的性能差距已在多项关键负载上收敛至正负10%区间,接下来的竞争焦点将转向量产交付能力、软件生态成熟度与长期运维成本。


