如何使深度学习系统在超级计算机上测试运行?

电子说

1.2w人已加入

描述

机器学习是一种人工智能技术,在商业应用中取得了前所未有的成功。但是,机器学习在科学高性能计算中应用却很有限。原因何在?高级机器学习工具不是专为大数据集设计,例如用于研究恒星和行星的工具。英特尔、美国国家能源研究科学计算中心(National Energy Research Scientific Computing Center, NERSC)及斯坦福大学的联合团队改变了这一情况。他们研发出一套深度学习系统,可在15千万亿次每秒(petaflop)的计算机上工作。通过在超级计算机科里(Cori)上测试运行,该系统表现出了处理大型数据集的能力。

在超级计算机上使用机器学习技术,科学家就能从大型复杂数据集中得到更多信息。加速器等强大仪器能产生巨型数据集。这款新软件可以让世界上最大的超级计算机将这类数据用于深度学习,得到的信息可促进地球系统建模、聚变能和天体物理学。相关研究论文“15PF的深度学习:科学数据的监督和半监督分类”文章中描述发表于《高性能计算、网络、存储和分析国际会议论文集》(Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis)。

机器学习技术有望让科学家从加速器、光源、望远镜和计算机模拟等产生的大型复杂数据集中提取宝贵信息。虽然这些技术在多种商业应用中取得了巨大胜利,但是它们在科学的高性能计算中应用有限,因为现有工具不是为许多科学领域中发现的太字节或千兆字节级数据集而设计。

英特尔、美国国家能源研究科学计算中心及斯坦福大学的联合团队携手应对在太字节或千兆字节级数据集上应用深度学习技术所产生的问题。该团队开发出首款在15千万亿次每秒的计算机上运行的深度学习软件。该软件可执行大型科学数据集进行的大量训练运行,展现出其用于数据密集型应用的可扩展性。这些运行使用了美国国家能源研究科学计算中心超级计算机科里所有的物理和气候相关数据集。运行得到的峰值速度在11.73至15.07千万亿次每秒之间(单精度),平均持续性能为11.41至13.47千万亿次每秒。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分