超大规模数据中心网络相关研究与实践

一、计算模式的演进

 

图 1 计算模式的演进

计算纪年：
1、大型机时代：20世纪60~70年代，计算机体积大、价格高，支持成百上千用户同时操作。
2、个人电脑时代：20世纪80~90年代，计算机体积小、价格低，只支持单个用户同时操作。
3、移动时代：21世纪00~10年代，终端设备搭载移动操作系统，用户随时随地可用。
4、泛在时代：21世纪20年代及以后，计算无处不在，无所不包，典型代表：云计算。

二、云计算应用场景及特征

 

图 2 云计算

应用场景：
1、支持动态组织和业务系统的应用：
典型代表：移动办公。

2、提供集中管理和集成共享的应用：
典型代表：桌面管理。

3、基于网络渠道和面向服务的应用：
典型代表：电子商务。

4、需要大数据计算和存储能力的应用：
典型代表：搜索服务。
特征：经济性、灵活性、共享性、可靠性、可扩展性。

三、云计算数据中心网络需求

 

图 3 云计算数据中心网络

云计算的主要载体是数据中心。数据中心云化对网络提出了新需求：
1、超大规模，平滑扩展：支持数万甚至更高量级的服务器接入。
2、虚机动态迁移：虚机可在不同物理机之间漂移。
3、交换无阻塞，转发低时延：网络流量以东西向为主，南北向为辅。
4、多租户：不同租户网络物理共享，逻辑隔离。
5、低成本，高扩展：采用普通商用组件作横向扩展。
6、网络灵活性：可动态调整拓扑、负载。
7、高效的网络协议：根据数据中心结构和流量特点设计网络协议。
但是在传统数据中心网络中难以满足上述需求。

四、数据中心软件定义网络

 

图 4 SDN网络架构

为了应对云计算的冲击，数据中心网络需要SDN化。SDN的价值主要体现在网络即服务。
SDN的本质在于抽象网络控制，包括转发抽象（网络模型）、状态分步抽象（全局网络视图）与规格抽象（抽象网络视图）。SDN的特征有控制与转发分离、开放的编程接口与集中化的网络控制。

五、基于Overlay的SDN解决方案

 

图 5 Overlay网络

基于Overlay的SDN解决方案存在如下优势：
1、复用传统网络基础设施，设备复用；
2、突破传统网络中虚拟网络数量限制；
3、虚拟网络拓扑与物理网络基础设施解耦；
4、支持VM动态迁移；
5、多租户支持，网络资源可复用且相互隔离不干扰；
6、虚拟网络多路径转发；
7、轻松实现业务编排。
但是云计算对数据中心网络的挑战依然存在。

六、挑战依然存在

1、网络故障定位：

 

图 6 网络故障定位

一旦网络出现异常，难以快速界定到底是上层网络、下层网络还是服务器的问题。往往需要虚拟网络、服务器、物理网络运维团队三方协同。解决问题难度大，耗时长，代价大。

2、物理网络部署：

 

图 7 物理网络部署

物理网络设备部署流程通常包括：网络设备上架加电、设备配置、调试网络连通性、添加网管、设备信息登记。网络设备配置复杂，人工操作易错，部署速度缓慢。

3、物理网络构建：

 

图 8 Core-Spine-Leaf无阻塞网络

以Core-Spine-Leaf无阻塞网络为例，Spine与Leaf采取CLOS组网方式构成POD，Core与POD也采取CLOS组网方式，其中Leaf交换设备选用华为的CE68系列，Core与Spine交换设备选用华为的CE128系列。受限于网络交换设备路由负载分担最大链路数64，任一Spine最多连接64个Core，任一Core最多连接64个Spine，则无阻塞网络最大提供16384端口的接入规模，网络交换设备成本支出在27M$左右。网络规模小，设备品牌锁定，Scale-up模式，构建成本高。

4、网络流量均衡：

 

图 9 网络流量均衡

常用的网络流量均衡技术有TRILL、BGP与静态路由等，都属于Local ECMP（等价多路径），无法动态调整，实际网络带宽利用率一般在40~80%。全局网络流量不均，局部容易拥塞，网络带宽利用率低。

5、网络转发性能：

 

图 10 VXLAN通信

 

 

图 11 VXLAN封装

虚拟网络通过隧道穿越物理网络，报文转发需要额外封装。以VXLAN（MAC in UDP）为例，每个以太帧至少增加50B封装开销，其它隧道协议大同小异。服务器网口线速10G，虚拟交换机吞吐量不及50%。服务器吞吐量低下，网络带宽浪费严重。

七、Heatsink网络架构

网络连接方式：
1、Spine与Leaf采取CLOS组网方式构成Fin；
2、Fin间彼此相连，由Spine间连接方式不同而产生两种变形。

 

图 12 粗放型Heatsink网络

粗放型网络Spine在Group内相连，以提升网络接入规模，适用于超大规模数据中心网络。

 

图 13 集约型Heatsink网络

集约型网络Spine在Group外相连，以提升网络设备利用率，适用于小、中、大规模数据中心网络。

八、Heatsink网络控制系统

 

图 14 Heatsink网络控制系统

1、全栈式控制：物理与虚拟网络设备统一控制管理。
2、控制器（Open Network Controller，ONC）：

部署分散，控制集中；

南向屏蔽网络设备差异（OpenFlow/OVSDB/…）；

北向提供控制抽象（Rest API/…）；

网络操作系统，通过服务对外提供网络功能和接口。

九、 Heatsink网络部署

 

图 15 Spine Block

1、白盒交换机选型：

Spine：32×40GbE；

Leaf：48×10GbE + 4×40GbE。

2、Spine Block：
目前市面流通的40GbE白盒交换设备端口密度普遍偏低，通过Spine之间CLOS相连，多Spine拟合逻辑Spine，可以提升端口密度。

将Spine Block模拟的逻辑Spine代入Heatsink网络可以获得如下表所示的各种网络规模：

 

表 1 Heatsink网络规模

十、Heatsink网络路由方式

1、共Fin选路：

 

图 16 Heatsink网络共Fin选路

转发路径：源Leaf → Spine → 目的Leaf。路由选路即选择Group的过程。

2、跨Fin选路：
1)粗放型：

 

图 17 粗放型Heatsink网络跨Fin选路
       

转发路径：源Leaf → 源Spine → 中转Spine → 目的Spine → 目的Leaf。路由选路即选择Group与中转Spine的过程。中转Spine所属Group与选定Group相同。

2)集约型：

 

图 18 集约型Heatsink网络跨Fin选路

转发路径：源Leaf → 源Spine → 中转Spine → 目的Spine → 目的Leaf。路由选路即选择Group与中转Spine的过程。中转Spine所属Group与选定Group不同。

十一、Heatsink网络寻址方式

1、网络分区：
1)核心区：
白牌、盒式物理交换机。
2)边缘区：
虚拟交换机。

2、控制策略：
核心简单、鲁棒；边缘复杂、智能。

3、源标签路由：
控制器统一派发交换机标签，边缘交换机封装标签路径，核心交换机按路标寻址。

 

图 19 Fin内通信

 

 

图 20 Fin间通信

十二、Heatsink网络路径封装

 

图 21 VLAN + Src MAC封装

1、VLAN：
1)以VID标识报文剩余跳数，每跳递减，降至0时，剔除VLAN头；
2)共Fin通信，VID初始值取3；跨Fin通信，VID初始值取5。

2、Src MAC：
针对当前交换设备，指示报文下一跳，各字段填充不同Heatsink属性，掩码匹配可分别提取。

十三、演示

 

图 22 3D网络拓扑-Fin

 

 

图 23 3D网络拓扑-Spine层

 

 

图 24 2D网络拓扑

 

 

图 25 路径跟踪

 

 

图 26 端口信息统计

 

 

图 27 流表信息统计

十四、总结

1、网络构建：
1)Heatsink架构，采取多级CLOS组网，支持由小而大平滑扩展，公、私有云网络均适用；
2)选择白牌、盒式交换设备，Scale-out模式，避免品牌锁定，降低网络成本支出；
3)全网交换无阻塞，无单点故障，适应云计算数据中心流量模型由南北向转东西向的变化。

2、网络控制：
1)全栈式控制，物理与虚拟网络合一，设备即插即用，网络状态实时可见，运维难度低；
2)网络分区，核心简单、鲁棒，确保网络性能，边缘复杂、智能，确保业务灵活；
3)源标签路由，降低核心区物理交换设备流表消耗，解决物理交换设备流表容量不足的问题；
4)全网链路实时统计，端到端流量可控，基于流粒度实现全局流量均衡；
5)VLAN+Src MAC掩码匹配，封装开销小，节省网络带宽，提高服务器吞吐量、网络性能。

郑重申明PS：文章中举凡画得好看的图都是来自引用。本文是作者团队面向公、私有云构建数据中心网络的相关研究与实践，主要特点有超大规模网络、白盒交换设备、虚拟与物理网络设备统一管理等，Overlay网络解决方案的本质在于将传统数据中心网络SDN化，无可否认VXLAN/GRE等技术取得了一定的成功，尤其在兼容传统数据中心网络上，但是让本来已经很复杂的网络变得更加复杂了，自然也带来了大量的问题

我们认为Overlay只是数据中心网络SDN化进程中不可避免的一环，不过Singlelay才是SDN网络的终极，我们团队始终以推动SDN在云领域的商业化进程为目标

一些浅显的观点，与大家分享，欢迎拍砖，有任何问题可以直接联系我，咱们共同切磋。