电子说
本文对整场分享进行了要点总结及PPT整理,以帮助大家提前清晰地了解本场分享重点。
1.ZILLIZ如何重新定义数据科学?
2.数据时代的今天与未来
3.传统架构和异构计算有什么区别?
4. ZILLIZ对新一代数据科学提出了什么样的解决方案?
5. ZILLIZ人才观分享与人才招聘
以下为ZILLIZ解决方案副总裁魏一的部分分享内容,【AI研习社】在不改变原意的基础上做了整理和精编:
大家好,我是ZILLIZ的魏一,从事数据科学领域已有十余年,今天和大家分享ZILLIZ在数据科学领域如何将GPU的算力应用在人工智能领域。
首先简单介绍一下ZILLIZ,公司成立于2016年,专注于异构计算的数据科学领域。公司的使命是Reinvent Data Science,即通过使用异构加速这种新的计算模式,解决数据科学领域的难点和痛点。
关于重新定义数据科学,魏一表示:
重新定义数据科学其实是往两个方向在努力,一个是数据化,传统来说即结构化的数据处理,不过近几年随着神经网络、人工智能算法地使用,可以对以前很难分析的非结构化数据进行分析,比如图形图像的处理、人脸识别、音频、视频、文本等。还有一个是数据如何呈现真实的世界,如何做到通过使用数据更好地加快决策的过程?在这方面我们有针对边缘数据、快数据、时空数据的可视化分析引擎。
随着时代的发展,全球数据规模呈现指数级增长,伴随5G的到来,还会有更大更密的数据连接,在算力层面,GPU架构会超过CPU。
接下来是ZILLIZ对新一代数据科学提出的解决方案,我们的两个产品分别是MegaWise和Milvus,这两个产品分别是对应前面讲到的两部分——数据化和数据现实,通过这种数据科技的整合,可以把以前比较慢的工作、或者一些算法的训练、以及数据计算的工作进行加速,然后能够对实时数据进行处理,这就是我们公司主要的两款产品。
那么传统架构和异构计算有什么区别呢?对传统架构来说,一般都是从外存加载到内存再加载到CPU的缓存进行就算,对异构计算来说,可以从磁盘直接把数据加载到GPU的显存里,通过CPU和GPU的联手,让其更好地发挥算力,进而将之前在CPU上很难处理或无法处理的工作,进行有效的提升和加速。这就是我们产品设计的最核心的思想和架构。
现在来介绍一下Milvus这款产品,是针对非结构化数据处理而设计的检索产品,可对到高维度、百亿级向量数据的进行秒级检索,能有效降低硬件成本(至少一个数量级)。通过异构计算的核心算法设计,能够在所有人工智能相关领域中使用,比如,人脸识别,语音识别,视频分析,文本分析等,能够为深度学习领域的推理部署进行性能提升和有效的成本控制。
整个系统的架构图如下:
Milvus提供了不同的向量检索算法,能够针对不同的业务场景只能选择最合适的算法从而实现最高的性能比。
索引系统的性能检测报告如下图:
现在,Milvus在Github正式开源啦,欢迎各位开发者在Github关注我们https://github.com/milvus-io/milvus!
再让我们来看一下在数据现实的核心产品——MegaWise,是结构化数据处理的核心引擎,深度整合了Nvidia Rapids的数据科学平台。从图中可以看出产品是建构在Nvidia Rapids异构数据科学平台之上的,通过整合各种数据分析处理组件,实现了对时空数据的高性能分析,很好的支持了上层可视化交互平台。同时,自主研发的Picasso 图形渲染引擎,能够对数亿级别的时空信息进行秒级渲染并通过Inifi可视化分析平台为数据科学家提供了超大规模数据现实分析能力。
接下来讲一个在MegaWise数据分析引擎的应用场景,通过这种图形化的展示,可以更直观地解决地理信息数据中的难点。
以上是本次分享的部分技术内容,更多详细讲解请观看视频回放(http://www.mooc.ai/open/course/686)。
在本次公开课的最后,ZILLIZ的人力资源总监对公司成长历程、文化氛围等做了介绍,同时ZILLIZ的秋招和社招也正在火热进行中,欢迎感兴趣的同学投递简历,和ZILLIZ一起开拓智能数据处理新疆界。
今天的分享就到这里,谢谢大家。
全部0条评论
快来发表一下你的评论吧 !