超大规模数据中心网络相关研究与实践

FPGA/ASIC技术

190人已加入

描述

一、计算模式的演进

云计算

 

图 1 计算模式的演进

计算纪年:
1、大型机时代:20世纪60~70年代,计算机体积大、价格高,支持成百上千用户同时操作。
2、个人电脑时代:20世纪80~90年代,计算机体积小、价格低,只支持单个用户同时操作。
3、移动时代:21世纪00~10年代,终端设备搭载移动操作系统,用户随时随地可用。
4、泛在时代:21世纪20年代及以后,计算无处不在,无所不包,典型代表:云计算。

二、云计算应用场景及特征

云计算

 

图 2 云计算

应用场景:
1、支持动态组织和业务系统的应用:
典型代表:移动办公。

2、提供集中管理和集成共享的应用:
典型代表:桌面管理。

3、基于网络渠道和面向服务的应用:
典型代表:电子商务。

4、需要大数据计算和存储能力的应用:
典型代表:搜索服务。
特征:经济性、灵活性、共享性、可靠性、可扩展性。

三、云计算数据中心网络需求

 

图 3 云计算数据中心网络

云计算的主要载体是数据中心。数据中心云化对网络提出了新需求:
1、超大规模,平滑扩展:支持数万甚至更高量级的服务器接入。
2、虚机动态迁移:虚机可在不同物理机之间漂移。
3、交换无阻塞,转发低时延:网络流量以东西向为主,南北向为辅。
4、多租户:不同租户网络物理共享,逻辑隔离。
5、低成本,高扩展:采用普通商用组件作横向扩展。
6、网络灵活性:可动态调整拓扑、负载。
7、高效的网络协议:根据数据中心结构和流量特点设计网络协议。
但是在传统数据中心网络中难以满足上述需求。

四、数据中心软件定义网络

云计算

 

图 4 SDN网络架构

为了应对云计算的冲击,数据中心网络需要SDN化。SDN的价值主要体现在网络即服务。
SDN的本质在于抽象网络控制,包括转发抽象(网络模型)、状态分步抽象(全局网络视图)与规格抽象(抽象网络视图)。SDN的特征有控制与转发分离、开放的编程接口与集中化的网络控制。

五、基于Overlay的SDN解决方案

云计算

 

图 5 Overlay网络

基于Overlay的SDN解决方案存在如下优势:
1、复用传统网络基础设施,设备复用;
2、突破传统网络中虚拟网络数量限制;
3、虚拟网络拓扑与物理网络基础设施解耦;
4、支持VM动态迁移;
5、多租户支持,网络资源可复用且相互隔离不干扰;
6、虚拟网络多路径转发;
7、轻松实现业务编排。
但是云计算对数据中心网络的挑战依然存在。

六、挑战依然存在

1、网络故障定位:

云计算

 

图 6 网络故障定位

一旦网络出现异常,难以快速界定到底是上层网络、下层网络还是服务器的问题。往往需要虚拟网络、服务器、物理网络运维团队三方协同。解决问题难度大,耗时长,代价大。

2、物理网络部署:

云计算

 

图 7 物理网络部署

物理网络设备部署流程通常包括:网络设备上架加电、设备配置、调试网络连通性、添加网管、设备信息登记。网络设备配置复杂,人工操作易错,部署速度缓慢。

3、物理网络构建:

云计算

 

图 8 Core-Spine-Leaf无阻塞网络

以Core-Spine-Leaf无阻塞网络为例,Spine与Leaf采取CLOS组网方式构成POD,Core与POD也采取CLOS组网方式,其中Leaf交换设备选用华为的CE68系列,Core与Spine交换设备选用华为的CE128系列。受限于网络交换设备路由负载分担最大链路数64,任一Spine最多连接64个Core,任一Core最多连接64个Spine,则无阻塞网络最大提供16384端口的接入规模,网络交换设备成本支出在27M$左右。网络规模小,设备品牌锁定,Scale-up模式,构建成本高。

4、网络流量均衡:

云计算

 

图 9 网络流量均衡

常用的网络流量均衡技术有TRILL、BGP与静态路由等,都属于Local ECMP(等价多路径),无法动态调整,实际网络带宽利用率一般在40~80%。全局网络流量不均,局部容易拥塞,网络带宽利用率低。

5、网络转发性能:

云计算

 

图 10 VXLAN通信

 

云计算

 

图 11 VXLAN封装

虚拟网络通过隧道穿越物理网络,报文转发需要额外封装。以VXLAN(MAC in UDP)为例,每个以太帧至少增加50B封装开销,其它隧道协议大同小异。服务器网口线速10G,虚拟交换机吞吐量不及50%。服务器吞吐量低下,网络带宽浪费严重。

七、Heatsink网络架构

网络连接方式:
1、Spine与Leaf采取CLOS组网方式构成Fin;
2、Fin间彼此相连,由Spine间连接方式不同而产生两种变形。

云计算

 

图 12 粗放型Heatsink网络

粗放型网络Spine在Group内相连,以提升网络接入规模,适用于超大规模数据中心网络。

云计算

 

图 13 集约型Heatsink网络

集约型网络Spine在Group外相连,以提升网络设备利用率,适用于小、中、大规模数据中心网络。

八、Heatsink网络控制系统

云计算

 

图 14 Heatsink网络控制系统

1、全栈式控制:物理与虚拟网络设备统一控制管理。
2、控制器(Open Network Controller,ONC):

部署分散,控制集中;

南向屏蔽网络设备差异(OpenFlow/OVSDB/…);

北向提供控制抽象(Rest API/…);

网络操作系统,通过服务对外提供网络功能和接口。

九、 Heatsink网络部署

云计算

 

图 15 Spine Block

1、白盒交换机选型:

Spine:32×40GbE;

Leaf:48×10GbE + 4×40GbE。

2、Spine Block:
目前市面流通的40GbE白盒交换设备端口密度普遍偏低,通过Spine之间CLOS相连,多Spine拟合逻辑Spine,可以提升端口密度。

将Spine Block模拟的逻辑Spine代入Heatsink网络可以获得如下表所示的各种网络规模:

云计算

 

表 1 Heatsink网络规模

十、Heatsink网络路由方式

1、共Fin选路:

云计算

 

图 16 Heatsink网络共Fin选路

转发路径:源Leaf → Spine → 目的Leaf。路由选路即选择Group的过程。

2、跨Fin选路:
1)粗放型:

云计算

 

图 17 粗放型Heatsink网络跨Fin选路
       

转发路径:源Leaf → 源Spine → 中转Spine → 目的Spine → 目的Leaf。路由选路即选择Group与中转Spine的过程。中转Spine所属Group与选定Group相同。

2)集约型:

云计算

 

图 18 集约型Heatsink网络跨Fin选路

转发路径:源Leaf → 源Spine → 中转Spine → 目的Spine → 目的Leaf。路由选路即选择Group与中转Spine的过程。中转Spine所属Group与选定Group不同。

十一、Heatsink网络寻址方式

1、网络分区:
1)核心区:
白牌、盒式物理交换机。
2)边缘区:
虚拟交换机。

2、控制策略:
核心简单、鲁棒;边缘复杂、智能。

3、源标签路由:
控制器统一派发交换机标签,边缘交换机封装标签路径,核心交换机按路标寻址。

云计算

 

图 19 Fin内通信

 

云计算

 

图 20 Fin间通信

十二、Heatsink网络路径封装

云计算

 

图 21 VLAN + Src MAC封装

1、VLAN:
1)以VID标识报文剩余跳数,每跳递减,降至0时,剔除VLAN头;
2)共Fin通信,VID初始值取3;跨Fin通信,VID初始值取5。

2、Src MAC:
针对当前交换设备,指示报文下一跳,各字段填充不同Heatsink属性,掩码匹配可分别提取。

十三、演示

云计算

 

图 22 3D网络拓扑-Fin

 

云计算

 

图 23 3D网络拓扑-Spine层

 

云计算

 

图 24 2D网络拓扑

 

云计算

 

图 25 路径跟踪

 

云计算

 

图 26 端口信息统计

 

云计算

 

图 27 流表信息统计

十四、总结

1、网络构建:
1)Heatsink架构,采取多级CLOS组网,支持由小而大平滑扩展,公、私有云网络均适用;
2)选择白牌、盒式交换设备,Scale-out模式,避免品牌锁定,降低网络成本支出;
3)全网交换无阻塞,无单点故障,适应云计算数据中心流量模型由南北向转东西向的变化。

2、网络控制:
1)全栈式控制,物理与虚拟网络合一,设备即插即用,网络状态实时可见,运维难度低;
2)网络分区,核心简单、鲁棒,确保网络性能,边缘复杂、智能,确保业务灵活;
3)源标签路由,降低核心区物理交换设备流表消耗,解决物理交换设备流表容量不足的问题;
4)全网链路实时统计,端到端流量可控,基于流粒度实现全局流量均衡;
5)VLAN+Src MAC掩码匹配,封装开销小,节省网络带宽,提高服务器吞吐量、网络性能。

郑重申明PS:文章中举凡画得好看的图都是来自引用。本文是作者团队面向公、私有云构建数据中心网络的相关研究与实践,主要特点有超大规模网络、白盒交换设备、虚拟与物理网络设备统一管理等,Overlay网络解决方案的本质在于将传统数据中心网络SDN化,无可否认VXLAN/GRE等技术取得了一定的成功,尤其在兼容传统数据中心网络上,但是让本来已经很复杂的网络变得更加复杂了,自然也带来了大量的问题

我们认为Overlay只是数据中心网络SDN化进程中不可避免的一环,不过Singlelay才是SDN网络的终极,我们团队始终以推动SDN在云领域的商业化进程为目标

一些浅显的观点,与大家分享,欢迎拍砖,有任何问题可以直接联系我,咱们共同切磋。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分