存储技术
在数据中心里面,影响数据时延的原因主要来自两个层面,一个是经过整个网络传输时延,一个是存储本身介质的时延。目前这两个层面的时延都是毫秒级,这样情况下的5G应用、自动驾驶、AI等应用很难做到实时处理,如果要进入微秒时代,必须把这两段时延的瓶颈都打破。
首先,为了实现这“最后一公里”的百微秒级突破,平均时延达4毫秒的机械硬盘(7200转)成为了第一个被优化的对象。相比机械硬盘,Flash介质具有更强的性能和20μs的极低时延。同时华为云围绕介质上的能力,全新设计了先进的存储引擎,既充分释放介质的能力,降低时延和提升性能,又提高了存储介质的可靠性和增强了使用寿命。
第二,我们通过软硬件架构和数据中心架构的优化,实现了极简网络,也实现了多核免锁并发,使得软件的时延和网络的时延也降到了极低,所以整个数据处理IO从进来到出去,我们能实现50μs -100μs的稳定时延。”
第三,华为公司有一个很强的优势就是芯片,目前全系列自研芯片从“算、传、存、智”四个维度来增强数据处理全流程。芯片与架构的紧密配合,充分发挥了鲲鹏CPU在多核、低功耗等方面的优势;通过高性能智能网卡芯片、SSD存储控制芯片实现了数据的直接访问;结合昇腾AI芯片,让全栈软硬件联动创新,并首次实现云存储在芯片级的深度定制优化;实现通过网络芯片和SSD 存储卡控制芯片,把整个IO路径重构,做到极低时延。
当然说了这么多,个人第一感觉还是算法的重要性,不管是控制器、软件也好,芯片也好,里面很多核心技术其实都涉及算法,算法需要长期的积累,才能不断地逼近能力极限。华为云的优势就是把这些能力综合起来,做到了数据的实时处理。
存储越用越快?我们从当下的数据“越用越慢”谈起,大家知道不管是手机,还是电脑,用的时间越久,速度越慢。那么华为云是如何实现数据存储越来越快的呢?
首先我们来看一下当前的数据存储越用越慢的情况。随着数据的增加,存储介质碎片增多,包括企业的数据中心到云数据中心。随着时间地推移,用户访问数据越来越慢。造成这种原因很大程度上就是由于数据在数据中心的布局以及数据存储所提供IO能力跟企业业务要求不匹配。当数据量大,租户越来越多,相互之间也可能资源有争抢的,那这种情况就会加剧。
目前,华为云存储将人工智能技术融入分布式存储的全生命周期,智能识别用户业务模型,实现存储平台的自主调优和自我进化,让应用越用越快。华为云AI预测能力,可预判30天性能趋势,提前14天发现故障盘并自动隔离。AI控制的引入,可智能预测用户性能趋势,并根据用户提前配置的自动扩容等策略完成调整,免人工干预保障业务平稳。经过全局的数据进行优化,最大化地让全局的资源得到充分利用。
所以从客户的感受来讲,随着这种学习的深入,训练数目的增加,训练精度的提升,AI会越来越了解客户,让系统自动感知,而不是通过人工干预,可以做到快速系统调整来响应客户的需求。
华为云明确了以“全闪存、全系列、+智能、全栈创新”为导向的All-Flash战略布局,让AI加持的云存储逼近介质的极限,带领全系列存储逐步完成全闪存进化,带领云存储由机械时代迈入电子时代。而本次基于All-Flash战略推出的极速IO云硬盘,其时延低至50~100μs,并具有4GB/s带宽和高达100万IOPS性能,可满足结构化数据库、半结构化数据库和ELK分布式日志应用以及流处理等场景对性能的极致要求,也是主流云厂商中首家进入百微秒以内的云硬盘。
全部0条评论
快来发表一下你的评论吧 !