如何消除数据源孤岛 人工智能存储架构创建技术

如今，人们越来越关注数据的处理和存储：产生了多少数据、在哪里创建数据、利用数据所需的工具、管理数据所需的技能人才短缺等等。这改变了组织在数据中心和云平台中的运营方式，并决定了技术供应商正在开发的许多产品路线图。自动化、数据分析、人工智能、机器学习，以及在内部部署和云平台之间轻松移动应用程序和数据的能力是原始设备制造商和其他技术参与者的工作重点。而这一切都由于发生疫情而改变，疫情正在加快组织将其业务向云端的迁移，并促使他们的员工在家远程工作。即使冠状病毒疫情得到控制，这种趋势也会仍将继续。

 

过去几个月，很多原始设备制造商特别积极地扩展了在存储领域的产品，这在帮助组织在数据中心、云计算和网络之间架起桥梁方面发挥着核心作用，以及如何处理大量的结构化数据，尤其是正在创建的非结构化数据。从一些大型供应商在过去几个月发布的公告中可以看出这一点。Dell EMC公司加强了其存储产品组合，以满足当今组织的需求。该公司发布了其PowerStore闪存系统，该系统依赖于存储类内存(SCM)、NVM-Express和基于人工智能的软件等技术，并为混合云的PowerStore设计了云计算验证软件。在一个月后，Dell EMC公司推出了针对非结构化数据的PowerScale，将OneFS操作系统与Isilon硬件分离，并将其与PowerEdge系统配套使用。

Dell EMC公司还与谷歌云平台合作，为其创建OneFS操作系统，将文件数据管理引入公共云，以使组织能够处理内部部署设施与谷歌云平台之间的数据密集型工作负载。两家公司还在内部部署设施使用Isilon文件系统以及谷歌云平台中的计算和分析服务，因此组织可以在两种运营环境之间的单个文件系统中移动高达50 PB的工作负载。

当然，不仅仅是Dell EMC公司这样做。HPE公司日前对其Primera和Nimble存储产品线进行了增强，增加了更多的智能和自动化功能，并以即服务方式进行了升级。其升级部分是通过HPE公司的InfoSight预测分析平台完成的，使系统更智能，能够更好地预测和预防问题。用于高端存储的Primera系统可以自动根据人工智能平台的智能进行操作，而InfoSight使Nimble系统(用于存储工作负载)能够提供跨堆栈分析，从而简化VMware和Microsoft Hyper的虚拟机(VM)管理，该供应商还为Primera提供了所有的NVMe支持，为Nimble提供了存储类内存(SCM)。

Pure Storage公司最近发布了Purity 6.0版本，使其FlashArray系统能够在同一系统上本地支持文件和块存储。Pure Storage公司在今年6月召开的虚拟Accelerate大会上发布了最新版本的存储操作系统。

IBM公司表示将会采用新的存储硬件和软件，旨在为人工智能优化工作负载所需的基础设施构建提供支持。围绕人工智能建立更智能的业务是该公司的一项关键任务，去年，IBM公司斥资240亿美元收购了Red Hat公司，并更多采用了云计算技术。IBM公司在其大部分领域都采用人工智能技术，例如使用Watson技术和集成数据和人工智能平台的IBM Cloud Pak for Data所做的事情。

IBM公司全球存储渠道副总裁兼首席营销官Eric Herzog表示，IBM公司利用新存储产品正在帮助创建一种架构，该架构可以支持组织正在处理的人工智能和分析优化工作负载。为了有效地运行这样的工作负载，组织需要能够收集、组织和分析数据，然后利用这些信息来加速业务决策以及产品和服务开发。这意味着确保访问所有必要的数据源，并一起管理和分析数据，而不管其位于何处。

Herzog说：“如果没有这种信息架构，那么组织很难顺利实施其人工智能、分析或大数据工作。很多组织都在采用这些技术，人工智能最初是应用在高性能计算(HPC)和超级计算领域，如今其应用从大型组织扩展到中小组织。”

IBM公司推出了弹性存储系统(ESS)5000，这是一种全硬盘驱动器阵列，专门针对数据收集和长期容量进行了优化，并专为数据湖而设计。其2U系统是ESS 3000的补充，这是IBM公司在2019年10月推出的全闪存NVMe阵列，并且针对人工智能和分析工作进行了优化，并提供了较低的成本和高密度。SL型号适合标准机架，其存储容量最大可扩展到8.8PB，而SC型号适合扩展机架，最大存储容量为13.5PB。

在IBM Spectrum Scale高性能集群文件系统的支持下，它可以与ESS 3000和其他弹性存储系统(ESS)集成。

Herzog说，“我们对Spectrum Scale高性能集群文件系统所做的工作是加强移动对象存储的能力，但其次是使Spectrum Scale全局名称空间可以看到对象，而不仅仅是文件。为什么要这样做?它可以消除孤岛。因此，如果某些数据在文件中，而某些数据是对象，那么已经至少有两个数据孤岛。使用Spectrum Scale数据加速器，实际上可以使对象存储到与文件相同的全局命名空间中。当组织的软件要搜索要实际分析的数据和要收集的数据时，所有这些都存储在同一数据日志中。”

IBM公司还对其云对象存储(COS)进行了现代化改造，在12节点配置中将性能提高到55GB /秒，根据对象大小，读取速度提高了300%，写入速度提高了150%。云对象存储(COS)还支持SMR驱动器、大容量磁盘驱动器，可在4U磁盘盒中提供1.9 PB的存储容量。所有这些将增强与高性能人工智能和高性能计算(HPC)工作流程的集成。

Herzog指出，IBM公司推出了Spectrum Scale for Data Acceleration，使其能够从对象存储中移动数据，这是消除数据源之间的孤岛又一个步骤。
编辑：hfy