资料下载
数据中心高性能对象存储会碰到什么挑战
十次方
分享资料个
对象存储非常适合长期备份和归档，如何将高性能对象存储扩展到大规模、高容量的工作负载，人们对此需要进行了解。
对象存储最有趣的方面之一是其用途的多样性。尽管对象存储通常用作归档存储区、原有数据的目的地，以及文件服务器的替代品，但实际上有许多方法可以应用对象存储。随着供应商开始提供性能优化的对象存储，该技术已经为用于一组全新的工作负载准备就绪。
高性能对象存储不仅仅需要从基于硬盘的对象存储系统切换到全闪存对象存储。向全闪存介质的迁移无疑会有所帮助，但是对象存储系统（很大程度上要归功于其丰富的元数据）通常具有太多延迟，无法有效利用闪存性能。
创建高性能对象存储系统的另一个挑战是基础设施的横向扩展特性。为了满足容量需求，对象存储将大量节点添加到存储集群中。每个节点的容量都被吸收到集群中，从而创建一个存储池。在大型横向扩展集群中，具有数十个节点都是比较常见的。聚合和管理这些节点的等待时间可能很长。
人工智能和深度学习的对象存储挑战
非结构化的大型数据工作负载（例如人工智能和机器学习以及深度学习）是对象存储架构如何成为高性能工作负载的一个很好的例子。理论上，这些工作负载对于对象存储而言应该是理想的。它们拥有数百万甚至数十亿个文件，而存储所有这些数据需要大量的SSD硬盘或HDD硬盘，因此需要许多节点。这些过程也是受吞吐量驱动的。
所有这些因素的结合使ai服务器和深度学习针对对象存储的高节点数存储集群量身定制。大多数与人工智能通信的框架（例如TensorFlow）用于驱动人工智能服务器和机器学习工作负载，它们都使用Amazon S3协议。大多数对象存储系统也是基于S3存储桶，并且S3存储桶本身是高度并行的。从理论上讲，对象存储基础设施应该能够满足人工智能和机器或深度学习工作负载的需求。
但是，此方法不仅仅需要创建一个全闪存对象存储系统。该系统必须能够解决这样一个问题，即可能会有数十个（即使不是数百个）节点，而元数据以及集群管理也带来了挑战。
应对元数据挑战
元数据是关于数据的数据，它对高性能对象存储带来了挑战，其原因有两个：第一个挑战是，对象存储系统需要更多时间来管理其丰富的元数据。由于大多数对象存储供应商会在集群中指定一定数量的节点来管理和存储元数据，因此管理更加复杂。在人工智能和深度移动学习等工作负载中，专用的元数据控制器通常不堪重负，并成为系统瓶颈。因此，服务器闪存驱动器甚至硬盘无法充分发挥其潜力。
第二个挑战是集群通信。大多数横向扩展NAS或块存储系统的节点数都比较少。在网络附属存储（NAS）和块用例中，拥有六个节点的存储集群被认为是大型的浪潮服务器存储系统，但在许多对象存储部署中，六个节点只是一个入门级别。而节点间的通信成为一个大问题，尤其是在不涉及性能的归档的用例中。
要创建高性能的大规模对象存储解决方案，需要解决元数据性能和集群管理问题。下一代对象存储将元数据分布在集群中的每个节点上，而不仅仅是几个控制器。元数据的分布可确保每个节点都具有响应I/O请求所需的所有信息。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
- 相关下载
- 相关文章
