IPFS分布式存储到底有什么神奇之处?

描述

IPFS和Filecoin最近越来越火,有人说,IPFS是互联网世界的未来,还有人说,IPFS分布式存储或成为未来趋势,IPFS到底有什么神奇之处?今天小编姐姐带来IPFS爱好者必读手册,带大家一探究竟,开始!

啥是IPFS?

IPFS是一个面向全球的、点对点的分布式版本文件系统,也可以看成是一种去中心化的超媒体分发协议。

啥是Filecoin?

Filecoin是一个由区块链和原生代币构成的去中心化存储网络,Filecoin是IPFS的唯一代币,是运行在IPFS上面的激励层,用以确保IPFS文件系统所存储的数据安全可靠。

IPFS必读手册 IPFS的存储需求和挑战

IPFS作为分布式存储的新兴场景,与传统的分布式存储场景有着较大的区别,主要分为性能、可靠性、容量、供应、价格、易维护性这几个方面的需求。

性 能 在性能上主要分为三部分挑战。 1、sealing大文件大带宽的封装写入 2、windowpost针对所有sector的随机读抽查 3、winingpost出块权,针对赢filecoin的sector进行检验  

在sector sealing阶段,因IPFS庞大的数据封装写入,有大带宽的写入需求,每个文件大小为32G,业内优化做的比较好,且与浪潮合作的厂商,如加密矩阵、星河华讯等,能实现单worker每日封装2TB-6TB,而每个存储集群可接入几十上百个worker,故整体对存储集群的大文件顺序写入有极高的要求。   在windowpost阶段,需要在一天的48个窗口内,对所有的partition进行随机抽查,并且在规定的时间内提交完成,对存储读取的要求,通常需要在3-4分钟内完成。集群总容量3.5PB以内,每个partition有2349个sector需要进行随机检查,而随着集群规模的继续增大,每个partition所含有的sector也会进行增长,每增加3.5PB容量,单partition会增加2349个sector,而对要求提交的时间却仍然为3-4分钟,故大规模矿池存储集群下,windowpost的随机读压力对存储也是有极高的挑战。   在winningpost阶段,针对出块的sector,需要进行随机的抽查,要求在3S左右完成对随机小块数据的读取,通常为单线程处理,对存储小IO随机读取的时延有非常高的挑战要求。

可 靠 性 在可靠性方面,为了防止sector因节点/硬盘/机柜等硬件故障而丢失,高可靠的存储是区块链服务供应商保证收益的重中之重,一方面是为了保证现有算力的维持,另一方面避免因丢失sector而带来的抵押币损失。   随着IPFS行业的发展,主流区块链服务供应商已经逐步从原始的组装机+JBOD的方案转向专业的企业级分布式存储,通过纠删码、快速重构、高可靠硬件等技术,实现大规模sector封装的零丢失,零惩罚。故障出现后,为保证算力封装的效率和POST检查的通过,不仅要求数据不丢失,同时在集群降级情况下,不影响业务的正常使用,并在短时间内能恢复。

容 量 在容量方面,截止2021年1月6日,单账户最大封装的容量已达到72PB,预计未来在IPFS场景下百PB级集群将会越来越多,这要求存储在容量上支持百PB级,甚至EB级规模,因此横向扩展、在线扩容方面,同样对存储提出了极高的要求和挑战。

供 应 在供应方面,主要包含两大块。 1、设备的生产供应 2、维保/实施等服务的供应   首先,因资金的时间成本,数据量写入量大,最终用户的时间要求等因素,IPFS区块链服务供应商通常要求存储的供应商能够在接到订单的1-2周内完成发货和实施。因IPFS场景通常每次订单的规模少则几十个,多则上百个节点,对应单次订单所需要的大容量硬盘数量是以千计的,在供应和生产上也是非常考验存储厂商的基本功。   其次,因机房的分布情况不同,同一家可能在中国各地有对应的设备,一旦出现故障,需要有全国范围内的服务支持体系去协助排查和解决问题。

价 格 在价格方面,为保证足够高的投资回报率,IPFS服务供应商对存储每TB价格提出了极高的要求,这要求存储厂商在满足基本性能的情况下,针对IPFS场景的IO模型进行调优,并尽可能降低硬件配置,实现最优性价比的方案。

易 维 护 性 在易维护性方面,因数据量和设备量巨大,涉及到多套存储集群的统一管理和运维,要求存储集群能够提供智能化的运维管理工具,降低运维压力和成本。

IPFS必读手册 浪潮IPFS解决方案优势

极 致 性 能 浪潮针对IPFS场景独特的大文件写入,小块随机读的IO模型进行了深入的优化,在大带宽持续写入,并在降级重构时,实现了3分钟内完成windowpost读取,3S内完成winingpost读取的成果,平均单个IO时延响应在35ms以下。   首先,通过针对Ubuntu 18.04和20.04操作系统进行优化,缩短标准协议的IO路径,并降低因用户态和内核态转换所带来的上下文切换开销,相比于通常传统的挂载延时降低50%,带宽提升80%,大幅降低时空证明读取时间,并提高sealing写入速度。   其次,通过读写优先级优化,避免在大带宽写入时,对时空证明的时延影响,保证时空证明的顺利进行,降低抵押币损失风险。   再次,基于NVMe SSD直接裸设备管理机制,在缩短IO路径的同时提高了数据组织管理效率,实现数据与元数据的彻底分离,解决了日志叠加日志的设计,降低写放大。并优化底层的流控机制,降低IOPS、时延抖动。写性能翻倍,时延降低50%。   最后,通过分布式重构以及数据恢复QOS技术,保证在重构时sealing和时空证明不受影响,并快速恢复集群至正常状态。

极 致 性 价 比 浪潮针对IPFS IO模型独特优化和设计后,形成了差异化领先的IPFS存储解决方案,为客户提供更具性价比的方案,在保证性能满足的情况下,综合成本每TB下降10%-20%。   一方面,借助极致的性能技术,极限优化配置,降低不必要的CPU、内存、SSD、导轨等开销,提升单位容量的性价比。  

浪潮分布式存储AS13000G5-M60高密节点(4U60)   另一方面,通过业内独有的4U60高密分布式存储节点,相比于传统的4U36机型,单盘平均功耗下降13%,空间利用率提升66%,并提供13类部件的热维护,显著提高运维效率,降低成本。

极 致 可 靠 浪潮分布式存储在底层硬件上采用通用的X86服务器,但在firmware上进行了独特的加固处理,优化异常情况的处理,降低异常处理风险。同时,在生产上,通过独特的筛盘机制,从成千上万块硬盘中,筛选出最符合要求的硬盘,用于分布式存储的部件,大幅降低机械硬盘的故障率。   除此之外,在软件上,通过纠删码、RAS架构、慢盘检测等技术,大幅提升系统可靠性,已累计部署超1000套,经受过市场的检验,并在金融、能源、通信等核心领域广泛应用。在IPFS业内也与如冰河实验室、星宫数据等厂商有合作,可满足IPFS场景下的存储需求,方案成熟稳定。

极 致 服 务 浪潮依托于中国第一,世界前三的服务产量规模,能为客户提供全球主要国家地区的服务和维保。同时,依托于全球化的供应链、智能工厂体系,满足客户在短期内大批量的采购需求,实现资金的高效运转。   同时,浪潮支持远程的POC测试环境,针对产品的实际表现若存在疑虑,可申请免费的远程测试资源,快速完成验证,避免设备借物带来的运输、时间上的开销。

极 易 管 理 免费赠送Inview智能管理平台,实现多套存储集群的统一监控管理,支持历史性能统计、磁盘故障预测、性能趋势预测、容量趋势预测等功能,并能提供北向API接口被集成。大幅提升客户的易用性,并降低运维成本。  

浪潮InView智能管理平台

未来,随着5G、AI、大数据、区块链等新技术的加速普及和商用,数据的产生量、产生方式、处理方式将不断发生巨大变化,分布式存储的发展革新必将成为新数据时代下新存储解决之道。

正是由于在新存储产业领域、新行业应用场景的深厚积累和不断探索,浪潮存储收获了第三方机构的高度认可,多次入选Gartner魔力象限和用户评测报告。浪潮存储将继续敞开胸怀,探索新兴场景下的分布式存储技术,以新存储之道释放数据要素价值,在数据存储领域助力各行业领域业务创新,驱动智慧化转型升级。

原文标题:【科技放大镜】IPFS 爱好者必读手册!

文章出处:【微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分