通信,拉近世界的距离!
您的位置:首页 >资讯 >5G\6G动态 >5G >查看资讯

天垓300实测对标英伟达H200:单卡吞吐达1.05倍,百万Token成本降四成

移动通信网 林知远

10月28日,国产GPU厂商天数智芯在上海举办媒体开放日活动,WAIC 2026上发布的通用GPU旗舰产品天垓300首次面向媒体开放实机演示,并与英伟达H200进行直接对标。作为大模型推理和复杂计算领域公认的高水平GPU,H200已成为衡量先进AI算力的重要标尺,此次对标的看点在于测试对应的真实业务负载。据披露,上海仪电今年7月针对四大主流模型、三类场景开展第三方测试,在大模型典型的PD分离部署下,天垓300折算单卡整体端到端吞吐达到H200的1.05倍。这一结果标志着国产通用GPU首次在多类关键负载上进入与国际主流高水平GPU直接比较的区间。当前行业日均Token调用量较2024年初增长上千倍,Token工厂成为算力规模化落地的热门形态,对算力的效率、稳定性与生态兼容性提出了全方位考验,天垓300的各项实测数据正是围绕这三要素展开。

【关键数据】

[1] 天垓300单卡端到端吞吐达H200的1.05倍(第三方测试)

[2] 天垓300 IXL144超节点单机柜集成144颗GPU、聚合显存约10.1TB

[3] 每百万有效Token成本较国际主流方案降低约40%

[4] GPU+XPU异构AFD分离方案实测Decoding推理延迟降低60%

[5] 彤央TY1200标称300 TOPS稠密算力,实测性能达Thor T5000的1.2倍


天数智芯性能实验室的实测覆盖了多个典型业务场景:在64K长上下文下,天垓300的Attention性能为H200的1.05倍;GLM-5.3模型64K规模下,在保障同等用户体验的同时,MoE吞吐达到H200的1.15倍;8K至128K长上下文场景下,Agent首字延迟较H200降低约10%—30%;多模态生成推理吞吐相较H200提升约2%—5%;在搜广推等在线业务中,推荐推理吞吐提升21%、轻量计算时延降低26%。稳定性方面,天垓300满负荷运行的步时波动为0.43%,低于对比Hopper方案的0.76%,长时间高负载下的利用率与可用率得到直接保障。生态层面,天垓300通用架构原生支持CUDA语义,主流框架均已适配,大幅降低迁移成本。活动现场开放实机演示,接受与H200在GLM-5.3等大语言模型、文生图、文生视频场景的现场对比测试。

从市场格局看,国产GPU长期处于“可用”与“好用”之间的追赶状态,天垓300此次以1.05倍端到端吞吐的数据进入正向竞争区间,具有格局层面的信号意义。在系统形态上,天垓300已形成从加速卡、一机8卡服务器到超节点的完整交付方案。其中天垓300 IXL144超节点在单个标准机柜内集成144颗GPU、聚合约10.1TB显存,是目前业界密度最高的单机柜GPU超节点。据测算,其每百万有效Token成本较国际主流方案可降低约40%,在电力、机房和固定运维支出难以压缩的前提下,这一成本优势直接转化为Token工厂的运营竞争力。天垓300还提供开放、可组合的异构计算平台方案:以通用GPU为底座,支持混合训练、PD分离与AFD分离等多种部署形态,可与其他厂商加速卡、专用芯片协同工作。

异构协同的具体案例已经跑通。以AFD分离为例,天垓300承担Prefill全流程计算与解码阶段的Attention,合作厂商的XPU承担FFN专家网络,两类芯片在统一调度下异构协同,实测Decoding推理延迟可降低60%,这是国内第一个基于GPU+XPU异构部署的AFD分离方案。天数智芯AI与加速计算负责人单天逸表示:“未来的AI算力系统,不一定由一种芯片包打天下,关键是如何把它们高效组织起来,让整个系统发挥更大的价值。”在互联技术上,天垓300新一代P2P互联引擎面向Scale-up和Scale-out,目标是将域内单次传输延迟由3—5微秒降至1微秒,同时支持统一内存语义编程和大EP部署,将专家权重分散到更多核心。从产业链角度看,这套开放异构方案让客户能够复用已有算力资产,避免单一供应商锁定,对国内多元算力体系的构建具有实际拉动作用。

软件栈是硬件性能转化为业务价值的关键环节。天数智芯副总裁石加圣围绕“易于使用、易于优化、易于开发”三个层次,首次展示了天数智算软件栈全面拥抱Agentic AI的系统性布局:将多年GPU研发、模型适配和性能调优积累的方法沉淀为可调用的工具与技能,让模型和应用开发者能在自身工作流中复用专家经验。“Agentic AI让一位工程师的经验,能够持续服务千千万万开发者。”石加圣强调,开发者可围绕场景目标和服务约束直接调用工具、复用经验、开展优化,更快获得反馈并自主完成优化。硬件性能达到可用区间之后,这一布局直接回应了新模型不断涌现带来的部署、适配和调优的人力瓶颈问题。端侧方面,现场实测的彤央TY1200算力终端标称300 TOPS稠密算力,而非行业惯用的稀疏峰值;在Qwen3.8-27B、Qwen3.6-35B-A3B等LLM模型实测中,性能达到Thor T5000的1.2倍。

彤央TY1200的落地案例已覆盖多个行业:储能电芯研究中,TY1200支持科研智能体自动采集、治理实验数据,约2分钟内生成报告;应急视觉识别场景,端侧CV与多模态大模型交叉验证,将识别准确率由70%提升至95%;文旅案例中,同一台设备白天提供智能导览、夜间训练CV小模型;搭载TY1200的陪诊机器人已在上海市阳光康复中心服务视障人士,负责导诊、分诊与带路。“云端GPU厂商做端侧,不是把芯片做小,而是把能力下沉。”天数智芯彤央产品市场负责人宋远盈表示。天数智芯同时预告下一代端侧产品彤央TY2000,标称算力将达600T。从云端天垓300、天数智算软件栈,到端侧彤央算力终端,天数智芯已形成贯通云边端的产品体系,将高质量算力落实为可实测、可复现、可交付的有效产出,瞄准“人工智能+”在千行百业的规模化落地。在国产算力加速替代的周期中,以实测数据说话、以开放生态协同,正在成为国产GPU厂商参与全球竞争的新范式。

微信扫描分享本文到朋友圈
扫码关注5G通信官方公众号,免费领取以下5G精品资料
5G通信公众号
  • 1、回复“YD5GAI”免费领取《中国移动:5G网络AI应用典型场景技术解决方案白皮书》
  • 2、回复“5G6G”免费领取《5G_6G毫米波测试技术白皮书-2022_03-21》
  • 3、回复“YD6G”免费领取《中国移动:6G至简无线接入网白皮书》
  • 4、回复“LTBPS”免费领取《《中国联通5G终端白皮书》》
  • 5、回复“ZGDX”免费领取《中国电信5GNTN技术白皮书》
  • 6、回复“TXSB”免费领取《通信设备安装工程施工工艺图解》
  • 7、回复“YDSL”免费领取《中国移动算力并网白皮书》
  • 8、回复“5GX3”免费领取《R1623501-g605G的系统架构1》
  • 本周热点本月热点
    通信人才网

    最热通信招聘

    更多