大数据基准测试第一批结果发布 树立行业标杆

    进入2015年,大数据产品和服务采购进入爆发期,但大数据领域新的技术和产品层出不穷,业界缺乏统一的产品评测标准。面对快速发展变化的大数据技术和产品,企业CIO面临如何评估、如何选型、如何使用等问题,企业IT部门也苦恼于如何搭建企业级的大数据平台以支撑企业未来业务的发展。

    2014年6月,数据中心联盟联合20多家企业启动了大数据平台基准测试标准的制定,力图以标准化与测试为纽带,将应用与技术,用户与厂商有机联系起来,牵引我国大数据技术水平不断提升,帮助企业解决大数据技术和产品评估、选型、使用等难题。经过半年的工作与讨论,联盟于今年1月底发布了《大数据平台基准测试》的技术要求和测试方法,这是国内第一个面向商用大数据产品的评测标准。

    今年5月至7月,受数据中心联盟委托,中国信息通信研究院开展了大数据商业产品的第一轮测试,中移(苏州)软件技术有限公司的BC-Hadoop、华为技术有限公司的FusionInsight、星环信息科技(上海)有限公司的Transwarphadoop、上海优刻得信息科技有限公司的UDDP、中兴通讯股份有限公司的GoldenData参加。软件产品在中国信息通信研究院提供的16台服务器进行测评,云服务在优刻得提供的公有云环境中进行评测。

    这次测试是业界第一次商用大数据软件平台测试活动,也是第一次多任务负载的大数据测试。测试是在统一环境要求、统一数据规模、统一任务负载和统一测试周期的条件下进行的。7月30日上午,在2015年可信云大会上,数据中心联盟正式发布了测试结果,披露了部分测试数据。

    本次测试中,批处理任务方面,数据排序处理的数据量达到13.6TB,集群最高处理速度达到1.66GB/s,平均吞吐率为1258MB/s;词频统计处理2.8TB的文本数据,速度最高达到1.67GB/s,平均吞吐率为1155MB/s。

    NoSQL数据库任务中,“写(Write)”操作向服务端写入20亿条记录,最快为140

    ops;“读(Read)”操作从服务端读取20亿条记录,最快为87

    ops,平均为71.7

    ops;“扫描(Scan)”操作最快为9.6

    ops,平均为8.7

    ops。

    Hive任务中,Aggregation对1.83TB的大表做聚合,最快的吞吐率为3759MB/s,平均吞吐率为2087MB/s。

    除了性能测试外,本次测试还覆盖产品的容错性、安全与运维等方面,考验参测企业在限定时间内完成环境安装、平台部署和性能调优的综合能力。

    此外中国信息通信研究院还与华为在200台服务器单集群上进行了预测试,这是国内第一次在大规模节点上进行的测试,为正式开展大规模集群测试工作积累了经验。

    数据中心联盟正在与金融、电信等行业用户联合,制定更贴近行业特点、更复杂任务和更大规模集群的测试标准,第二轮测试活动正在筹备中。


微信扫描分享本文到朋友圈
扫码关注5G通信官方公众号,免费领取以下5G精品资料
  • 1、回复“LTBPS”免费领取《《中国联通5G终端白皮书》
  • 2、回复“ZGDX”免费领取《中国电信5GNTN技术白皮书
  • 3、回复“TXSB”免费领取《通信设备安装工程施工工艺图解
  • 4、回复“YDSL”免费领取《中国移动算力并网白皮书
  • 5、回复“5GX3”免费领取《R1623501-g605G的系统架构1
  • 7、回复“6G31”免费领取《基于云网融合的6G关键技术白皮书
  • 8、回复“IM6G”免费领取《6G典型场景和关键能力白皮书
  • 本周热点本月热点

     

      最热通信招聘

      最新招聘信息

    最新技术文章

    最新论坛贴子