5月28日,奇点云2024 StartDT Day数智科技大会暨产品发布会召开,同期发布了2024年版《OLAP数据库引擎选型白皮书》,为业界伙伴提供最新的选型参考。作为奇点云生态合作伙伴,中科驭数分享的国产DPU对Apache Spark的加速效果测试成果,成为本次白皮书的亮点章节之一。
近年来,大数据行业的蓬勃发展除了由软件层的持续迭代创新推动,也有赖于计算机硬件环境的持续优化。业内越来越多观点认为,DPU则可以在数据流上就近计算,实现数据处理的低时延和高吞吐,更具灵活性与效率,CPU+DPU的异构计算解决方案将是应对大数据性能瓶颈的新趋势,DPU也越来越得到数据中心运营商和大数据软件厂商的关注。
在这一背景下,奇点云与中科驭数携手合作,针对“Spark+Hive”这一典型大数据计算场景,开展了DPU与CPU环境下的性能对比测评。在评测方案中,引入了中科驭数基于DPU的Spark加速解决方案中最底层的DPU硬件、HADOS平台层,以及专门针对Spark的DPU加速层,可以无缝集成至现有Spark生态系统。
经对比测试,DPU技术的应用显著提高了数据处理效率、以及资源利用率。在数据计算和处理场景中,DPU环境相较于传统CPU环境下的查询性能提升可达50%-60%。同时,DPU环境下整体较CPU环境的峰值性能资源有优化,整机CPU峰值降低24%,内存消耗减少50%,且系统运行更加稳定。
目前,适配国产环境已成为金融、政企等多个领域企业对系统选型、改造的硬性要求。身处浪潮之中的DPU,其广泛应用与价值释放,同样也离不开与众多软硬件提供商的紧密合作及行业生态的共同构建。中科驭数也希望通过与奇点云等厂商开展技术测评合作,来加深与产业链各方的协作,实践DPU价值落地,共同推动DPU技术与解决方案在各行各业的深度融合,从而更有效地赋能终端用户,提供更加高效、定制化的产品和服务。
全部0条评论
快来发表一下你的评论吧 !