戴尔领投,创业公司Vast融资八千万美元,发誓消灭机械硬盘

就在前几天的Storage Filed Day上，VAST DATA公司横空出世，进入公众视野。这个存储的技术论坛，历来是存储创业公司做宣传的第一步，但是在上面直接发布公司的确实不多。目前有点名气的存储厂商，都在上面有过演讲，国内厂商，目前只有华为敢在上面亮相，因为下面的都是大V现场互动，技术上没有几把刷子，英语不行的几乎都不敢去。

VAST DATA其实就是海量数据的意思，其实产品理念也没有啥特别的，就是用全闪存来消灭机械硬盘。刚一开始我以为又一个AFA创业公司而已。这些故事我们前面听过很多遍了，Pure Storage现在人家还打算用闪存消灭磁带呢，VAST你消灭硬盘，做梦吧。

因为，大家都知道，目前大容量硬盘和SSD的单位容量价格差还有10倍以上，在归档存储和冷存储市场，SSD成本太高了，怎么可能是HDD的对手。Pure Storage可以消灭高性能硬盘，但是还是承认冷存储还得用大容量HDD。

不过，我看到宣传说他们拿了80m的融资，而且Dell也投资了，还是想看看他们是仅仅喊喊口号，也许真的有两把刷子呢。

特别是看了他们的创业团队，CEO原来是原来XtremIO的第一位工程师，管研发的VP原来是Kaminario的CTO，其他三位高管也来自Pure Storage和EMC，DDN等大名鼎鼎的存储公司，我觉得好像有点意思。因为他们做的东西肯定和XtremIO，Pure Storage和Kaminario不同。

而且，在会上，他们还宣布，把Storage Filed Day的常客，大V Horward也挖过去了。VAST总裁说Horwards目光如炬，怕他看出他们产品的问题，先策反他再说，挺幽默的。

我看了一下Horward的LikedIn，发现其头衔好有意思：杰出技术专家&全权大使，第一次看到这么有趣的头衔，希望有一天我也能混一个这么有逼格的头衔。

VAST公司，其实2016年就成立了，并且在2018年底产品都GA了，都卖了不少了，但直到上周才发布公司。这也是有点不一样，以前很多公司都是公司发布以后才出产品的。从这点看，VAST怕大家都不信他们能够消灭硬盘，只是一个PPT公司，因此提前先把产品做出来再发布公司。目前为止，他们已经拿了80m投资，包括Dell也投了。

VAST的理念其实很简单，就是原来的存储都是分层的。不同的层用不同的介质和设备，在主存储现在大多是全闪存，在第二存储和备份，机械硬盘还是主力，因为数据量太大，成本的原因。

而VAST DATA开发了一直全新的架构，他们叫通用存储（注意不叫统一存储），也就是一个存储搞定，没有啥分层的必要。因为他们采用最便宜的QLC介质，利用独特的数据保护和缩减技术，成本可以做到硬盘的水平。因为硬盘存在的唯一理由就是成本，成本优势没有了，硬盘就没有必要保留了，什么第二存储，备份专用存储也统统没有了。

其实有这种思路的人很久就有了，但是为什么以前一直没法实现？因为QLC和SCM在2018年底才开始商用，以前没有这些技术，因此是一个不可能的任务。但现在Intel的傲腾内存出来了，QLC盘业界也有了，加上原来的NVMe-oF技术，才使得这件事变成可能。

VAST其实架构也很简单，控制器采用容器技术部署，全部都是无状态的，可以扩充到1000个节点，后端通过NVMe-oF网状连接闪存框，闪存框里面有少量的SCM做写Cache，后面插大量的QLC盘。这种架构的好处就是容量和性能可以单独扩展，有分布式存储的好处，但是和一般的SDS不同的就是，控制框可以看到所有的SSD盘，这得依赖NVMe-oF。不过，这也没有啥特别的，Kaminario也是这样的架构，但是Kaminario卖得好像一般啊，因为其SSD还是采用企业级的SSD，太贵了。

看来，原Kaminario的CTO把K2.N的思路带到了VASA。

但是，肯定不能像K2.N一样采用企业级SSD，否则成本下不来，不可能取代硬盘的。

VAST说起采用全新的数据结构，支持云级别的扩展。

目前只支持NFS和S3协议，因为目前主打大数据场景。一般的关键应用场景，数据量不大，但对可靠性要求极高，新公司一般不去碰。因为这种场景用户比较保守，不敢求新，宁可求稳，选择老牌供应商。VAST说其采用自我描述的数据结构，保存在闪存上，控制器采用无状态的容器即可。

前面的描述我觉得都没有什么，很多创业公司都做了。关键是后面，即QLC的写寿命那么差，如何支持生产系统？还有，QLC的介质虽然可以采用消费级颗粒，但单位成本还是要比硬盘高啊？如何在数据缩减上下功夫，使得有效成本低于硬盘？

我们看到，QLC盘的介质寿命目前不到500次，而且面向消费级，都是单端口的，也没有掉电保护，也就是没有缓存，因此写的性能是比较差的。

虽然QLC有这么多缺点，但读的性能和企业SSD是一样的。通过引入SCM做缓冲，这些缺点克服就比较容易了。

针对生产系统，那个500次写寿命怎么克服？这就是NVMe-oF的优势了，因为这是一个大容量系统，控制器可以看到（访问）每块QLC SSD，比如你有1PB的容量，那么每个颗粒可以写500次，这套AFA的整体寿命就是500PB写。因为生产数据只占一小部分，大部分是温数据和热数据，因此所有的盘均摊开来，单盘的写寿命就根本不是问题。这种思路的好处就是不需要Open-Channel的SSD盘，但是做了一个全局的磨碎均衡，但是不用管垃圾回收。

解决寿命问题后，我们来看看怎么解决成本问题。由于控制器可以访问所有的SSD，因此，VAST采用非常宽条带的纠删码方式，比如150+4，甚至500+10。因为一个企业只需要部署一套这个系统，因此盘的数量肯定很多，也就是使得这样的纠删码成为可能。这样，系统的得盘率就太高了，几乎达98%。是不是很惊人？你用硬盘的三副本，我用闪存的500+10纠删码，不用算就知道几乎多了3倍的得盘率。成本的因素基本就解决一大半了。

但是，这么长条带，系统重构就是问题了。比如500+10，坏了一块盘，需要读500多块盘，重构的时间就太长了。为了解决这个问题，VAST增加了额外的检验位，比如10个SSD或者20个SSD一组，组内再生成一个冗余的校验。这样，如果这个组里只坏一块盘，那么只需要读10-20块盘的数据，重构数据快多了，而且系统比一般的EC也可靠多了。这一切的一切，都需要靠SCM来辅助，因为数据尽量需要在SCM里倒腾，然后整条带写到SSD里。

数据保护讲完了，我们来看看数据缩减。大家可能马上想到传统的重删和压缩，但是，这两个技术VAST都没有用。因为传统的压缩虽然可以基于byte的粒度，但不是全局的，压缩率一般。而重删虽然是做全局的，但一般都是KB粒度的重删，因为需要管理元数据，这个重删粒度不能太小，不能基于byte的粒度去做。

因此，VAST发明了一直全新的数据缩减方法，首先是全局的，但可以基于byte的粒度来对比。其实原理也很简单，也就是针对数据块先做hash，然后对比每个指纹的差距，把类似的指纹放一起进行压缩。因为这些数据非常相似，压缩粒度又可以做到byte粒度，因此，把共性的部分提出来，其他数据块只保留不同的byte就可以了。

VAST号称比传统的重删压缩效果还要好，而且有一个特点，即对已经重删和压缩，甚至加密过的数据都有效果，虽然效果差一些。传统的重删压缩可是对加密数据无能为力的。

正是由于这些独创的技术，因此，VAST就消灭了各层存储的区别，不再需要主存储，第二存储和备份存储，都放进来好了。全闪的性能，但硬盘的价格，很多情况可能比硬盘还低，特别是数据量越大，优势就越明显。

目前VAST提供三种部署模式，一体机模式；或者把控制器以容器方式部署在主机里，这是有点像融合模式；或者是全软件模式（100PB以上规模）。

我们看看一体机的硬件配置，4个服务器起步，闪存框可以只有一个。闪存框采用50/100G以太或IB互联，控制框对外只支持NFS和S3，因此肯定就是以太口了。

由于目前市场上的消费级QLC一般是M.2的接口，因此目前VAST估计还需要加一个接口转换，做成普通盘的U.2接口，这样才好热插拔。当然，也有封装成U.2接口的，这样就可以直接拿来用了。不过，这种盘可能用的企业级的QLC，成本可能就高了一些。

这样的AFA特别适合AI和HPC等需要大量读取数据的场景，特别是内存计算技术。当然，成本够低，用做备份也完全可以。

和英伟达的大狗熊（DGX-1/2）配合，支持两种部署模式，一直是传统的方式，一直是把容器控制器直接部署到大狗熊的机箱了，性能更高。因为大狗熊特别贵，这样可以充分发挥大狗熊的价值，让大狗熊加载数据时很快，充分喂饱大狗熊。

由于控制器是容器部署，在容器场景下可以和K8s联合动态编排，管理起来非常方便。

也可以一部分容器支持GPU，一部分容器支持常规的NFS HPC计算，混合部署，非常灵活。

甚至，如果时延小于5ms，甚至可以把计算部署到公有云里，通过S3访问AFA的数据，这样数据就可以不上云。

VAST还做了一个数据缩减的测试，采用备份软件CV重删压缩过的数据，VAST还能做到6:1的缩减率，如果在CV上把压缩关了，其数据缩减甚至做到了22:1。因此，我们看到，CV不做压缩，整体的数据缩减率更高，因为VAST是全局的基于byte的数据缩减。

VAST也提供了常用的数据格式的数据缩减率，我们看到像媒体这样做过压缩的数据，也能做到2倍以上的数据缩减率。而这些数据格式，传统的重删压缩基本没有太大效果。

到目前为止，我觉得VAST的这些设计还真是独辟蹊径，确实解决了现在闪存价格居高不下的问题，如果容量够大，从成本上应该比硬盘还好，但性能却是闪存的性能。关键整体的思路还是软件定义的思路，不需要你做硬件，你只需要用最新的硬件就可以了。

至少目前来看，我还没有看到这个架构的缺点。虽然暂时只支持NFS和S3，没有对块的支持，但全闪的NFS，我相信性能应该也满足关键业务传统数据库的需求。只是目前VAST还没有两地三中心的灾备方案，加上是新公司，大家不会在关键业务上冒险。

不知道Dell未来是否会收购VAST DATA，这样中国市场就能看到这个神奇的产品了。因为，如果不收购，进国内就麻烦了，国内的VAST DATA已经被一个北京海量数据公司注册了，这个公司还是上市公司，他们在Oracle数据库运维方面实力超群（据说挖了很多Oracle原厂售后），很多银行的代维都是找他们。而且，他们也做存储，比如销售HDS的存储，也正在研发自己的大数据一体机和存储。不过，中外两个海量数据公司联合起来，也不是没有可能，O(∩_∩)O哈！

我一直以为AFA的创新已经没有太多搞头，下一个风口应该是第二存储了，现在看来，AFA还是有机会的，第一次AFA浪潮消灭了高性能机械硬盘，这第二波AFA浪潮看来要消灭大容量机械硬盘了。

难度机械硬盘和固态硬盘就不能好好玩耍吗？会不会就像很多年以前说得消灭大机，消灭磁带一样，消灭机械硬盘也许也没有那么容易。不过，现在大机，磁带市场确实在萎缩，虽然是晚年，但垂而不死。但大容量硬盘现在却是如火如荼，各个硬盘厂商争相发布更大容量的硬盘，正值青壮年。难道，他们的晚年这么快到了？