数据中心网络互联技术

为了满够数据中心虚构机（Vm）、容器（Docker）之间大二层通讯的需要，数据中心网络发展过程中出现了多多依附网络设备硬件实现的互联组网技术——例如借鉴路由和谈实现的大二层组网技术：多链接通明互联（TRILL）、最短蹊径桥接（SPB） 
；虚实结合的Overlay技术：可扩大虚构局域网（VXLAN）、使用通用路由封装的网络虚构化（NVGRE）等等。但由于技术的复杂性、设备能力的参差不齐，这些技术均没有在网络设备上得到大规模利用。

到今天，我们看到数据中心（IDC）网络返璞归真，与业务解耦，单一、靠得住成为主题诉求，数据中心只必要提供单一、靠得住的三层Underlay组网，二层Overlay网络更多依赖主机侧软件或智能网卡实现。

那么问题来了，若何为数据中心三层组网选择相宜的路由和谈
？本文聚焦于大型数据中心场景，力争给出确切的答案。

IDC网络架构演进

经济基础决定上层构筑。同样的，数据中心（物理）网络架构很大水平上决定了路由和谈的规划。关于架构的设计，推荐阅读《技术盛宴 | 互联网数据中心网络25G组网架构设计》。本文对IDC网络架构仅做简要介绍，主张在于理清基础架构与路由和谈选择的关系。

传统数据中心网络架构

图1：传统数据中心网络架构（内部，不含网关区）

图1展示的是传统数据中心的网络架构：

传统IDC承载的大多是数据中心提供对表接见的业务
；

流量散布切合80/20模型，且以南北向为主，器材向流量
；

网络架构设计选取主题-汇聚-接入三级结构，汇聚往下选取大二层组网，汇聚及主题横向选取厂商私有虚构化技术，保障靠得住性
；

流量瓶颈在出口，IDC内部能够维持高收敛比（10:1甚至更大）。

近年来，随着云推算、大数据等业务的鼓起，散布式推算、散布式存储等技术起头在IDC内部大规模部署。从网络视角看，IDC内部的器材向流量急剧上升，流量的80/20模型转造成以器材向流量为主。

此时，传统网络架构起头力所不逮，显露出诸多短处：

扩大能力差：网络规模受限于主题互换机端口数量，无法滑润Scale-out(横向扩大)
；

收敛比过高：为南北向流量设计的流量模型，收敛模型呈三角型，越往上机能越低，器材向带宽严沉不及
；

单节造面运维复杂：汇聚及主题的靠得住性依赖于厂商的横向虚构化技术，虚构化技术的单节造面存在显著短处，很难做到不中断业务升级版本（ISSU ，In-Service Software Upgrade）。

Fabric网络架构

为解决传统IDC网络面对的问题，一种新的组网技术：Fabric网络架构，起头慢慢鼓起。

Fabric一词，网工同学都不陌生：基于CLOS架构的机框式互换机，就是依赖于Fabric（互换网板）作为Line card（线卡）在设备内部的转发桥梁（如图2）。

图2：IDC网络架构设计——Network as A Fabric

而时下数据中心火热的Fabric组网架构，与CLOS互换机有异曲同工之妙。

Line card：作为输入输出源，汇集所有服务器的流量，能够等同于IDC的柜顶互换机（TOR）
；

Fabric card：在中央层构建的高速转发通路，跨TOR流量通过Fabric进行高速转发。

把图2半数看，就是当下数据中心最盛行的叶脊（Leaf-Spine）网络架构。

图3：Leaf-Spine叶脊网络架构

Leaf-Spine的两层结构，即可组成一个单一的叶脊网络。在IDC建设时，我们也会以最幼交付单元（POD，Point Of Delivery）为单元进行网络建设。当然，为了提升这种网络架构的Scale-out能力，通常会在POD之上增长一层，用于横向衔接各个数据中心POD，扩大整个数据中心集群的规模。

Leaf-Spine架构因其壮大的Scale-out能力、极高的靠得住性、杰出的可运维能力而备受推崇。驰名的全球互联网巨头，根基都使用了这种组网架构。

Fabric网络架构用什么路由和谈
？

图4：利用Fabric构建的大型数据中心网络

Facebook在2014年盛开了其数据中心网络设计（从F4演进到F16，但根基架构同图4）：选取典型的Fabric网络。那么Fabric网络架构使用哪种路由和谈更相宜呢
？

在RFC 7938《Use of BGP for Routing in Large-Scale Data Centers》中，作者提出了使用天堑网关和谈（BGP）作为数据中心内唯一路由和谈的概想，并做了具体的分析，有兴致的同学能够阅读RFC原文。

结合这篇RFC，以及当前国内表互联网公司的选取BGP组网的实际，我们分析下为什么BGP会更受青睐
？

大型IDC网络路由设计准则

路由设计作为数据中心网络设计中极度沉要的一环，其设计理想也必要和数据中心整体准则维持一致。有如下设计重点：

1、可扩大性

数据中心设计重点：大型互联网公司单园区最大服务器规模已经突破300K，好多大型园区服务器规模在20K到100K之间。数据中心网络在设计之初就必要思考滑润的Scale-out能力，能按POD进行数据中心网络的交付（削减前期投入），并最终具备扩大到承载大规模、超大规模集群的能力。

路由和谈设计重点：依照互换机和服务器数量1:20的比例（48口互换机，服务器双归网络典型的比例），超大型数据中心运营的网络设备数量是数以千计的。路由和谈的设计必要思考一致性，无论是初期的幼规模，还是到上千万元构建的路由域，均能单一好用，能急剧传布、收敛。

2、带宽和流量模型

数据中心设计重点：数据中心器材向流量发作式增长，传统DC高收敛比模型已经无法满足器材向流量需要。新的网络架构中要尽可能地设计无收敛（Microsoft甚至部署了超速比网络，即上行带宽大于下行带宽）
Ｋ伎嫉酵缃ㄉ璧男约郾，我们推荐部署每级收敛比1:1到3:1。

路由和谈设计重点：对于Fabric网络，低收敛重要是依赖上行多链路负载来实现（例如典型的25G TOR互换机RG-S6510-48VS8CQ，其下行带宽48*25Gbps=1200Gbps，上行带宽8*100Gbps=800Gbps，端口全利用的情况下，收敛比为1.5:1）。对于数据中心路由设计，极度沉要的一点，是能单一地在数据中心多链路之间实现等价多蹊径路由（ECMP）。在正常情况下，ECMP多链路能够均匀分管流量，链路新增或者剔除时，也能急剧收敛而不影响现网业务。

3、CAPEX Minimization

数据中心设计重点：最大限度降低本钱性支出。步骤有：

尽量尺度化网络设备的软硬件要求，基于统一架构削减设备类型
；

简化网络个性要求，降低研发成本和功夫成本。

路由和谈设计重点：选取成熟的，通用的路由和谈，并且必要在主流型号上支持，覆盖接入、主题、骨干设备。

4、OPEX Minimization

数据中心设计重点：最大限度降低运营成本。大型数据中心网络的运营成本往往会比基础设施的建设成本更高，削减运营成本也是架构设计之初就必须思考的问题。

路由和谈设计重点：削减网络中故障域的大幼。

网络故障时，路由收敛影响面幼，收敛功夫快
；

整个数据中心只使用一种路由和谈：更好地简化运维，降低进建成本。运营知识库也能够更容易堆集，援手急剧定位问题，复原故障。

大型IDC网络路由和谈选择

1、路由和谈必要具备的能力

萦绕前文分析的路由和谈的设计重点，总结出大型IDC路由和谈必要具备如下能力：

超大规模：思考可扩大性，从建设之初到集群最终满配，都使用同样的和谈组网，和谈必要具备支持横向扩大到“超大规模”数据中心的能力
；

单一：选择足够单一、成熟、通用的路由和谈，使用更少的软件个性，从而引入更多可供选择的设备厂商
；

单一：数据中心尽量使用单一路由和谈，降低复杂度，削减进建成本，也利于运营经验的堆集
；

减幼故障域：当产生故障时，削减影响领域，提升网络的壮实性
；

负载平衡：不依赖专用的负载平衡设备，在DC内部形成等价多蹊径
；

矫捷的战术节造：对于特定业务流需要，可提供丰硕的路由战术节造伎俩
；

急剧收敛：在产生故障时，能削减影响面，急剧收敛。

2、现有路由和谈匹配度

我们看下现有路由和谈的匹配度。

路由信息和谈（RIP）：不合用大规模数据中心
；

加强内部网关路由和谈（EIGRP）：私有和谈，不切合需要2、3
；

内部BGP和谈（IBGP）：通常必要共同内部网关和谈（IGP）一路使用，不满足需要2、3
；

盛开式最短蹊径优先（OSPF）、中央系统到中央系统（ISIS）、BGP：初步看这三种路由和谈根基能满足1-7所有需要。其中ISIS和OSPF同属于链路状态IGP和谈，类似度较高，拔取利用更为宽泛的OSPF进行对比。以下着沉分析OSPF和BGP两种路由和谈。

3、OSPF VS BGP

以下是维基百科对OSPF和BGP和谈的界说。

OSPF：盛开式最短蹊径优先（Open Shortest Path First），是对链路状态路由和谈的一种实现，从属内部网关和谈（IGP），运作于自治系统内部。选取戴克斯特拉算法（Dijkstra's algorithm）被用来推算最短蹊径树。它使用“价值（Cost）”作为路由怀抱。链路状态数据库（LSDB）用来保留当前网络拓扑结构，路由器上属于统一区域的链路状态数据库是一样的。

BGP：是互联网上一个主题的去中心化自治路由和谈。它通过守护IP路由表或‘前缀’（Prefix）表来实现自治系统（AS）之间的可达性，属于矢量路由和谈。BGP不使用传统的内部网关和谈（IGP）的指标，而使用基于蹊径、网络战术或规定集来决定路由。因而，它更适合被称为矢量性和谈，而不是路由和谈。

OSPF和BGP都是利用极度宽泛的路由和谈，技术自身没有曲直之分。我们仅限于在大型/超大型的数据中心这个场景，来分析下两种路由和谈实用度。

和谈类型 对比项	OSPF	BGP
路由算法	Dijkstra algorithm	Best path algorithm
算法类型	链路状态	距离矢量
承载和谈	IP	TCP，有沉传机造，保障了和谈数据靠得住性
需要一：大规模组网	实用度：★★★ 理论上无跳数限度，能够支持较大规模的路由组网 ；但OSPF必要定期整网同步链路状态信息，对于超大规模数据中心，链路状态信息库过大，网络设备推算机遇能亏损大 ；同时网络震荡影响面大	实用度：★★★★★ 只传递推算好的最优路由信息 合用于大型/超大型数据中心，在超大规模园区已有成熟实际
需要二：单一	实用度：★★★ 部署单一，运维中等	实用度：★★★★ 部署单一、守护较单一
需要三：IDC内部署单一类型的路由和谈	实用度：★★★★ 满足 IDC内部能够只部署OSPF单路由和谈 在Server上也有丰硕的软件支持	实用度：★★★★ 满足 IDC内部能够只部署BGP单路由和谈 在Server上也有软件支持 表部自治系统之间也是使用BGP互联
需要四：削减故障域	实用度：★★ 域内要同步链路状态信息，所有的Failure必要同步更新	实用度：★★★★ BGP本地只传布推算好的最佳蹊径，当网络产生变动时，只传递增量信息
需要五：负载平衡	实用度：★★★★ 规划好COST值，多链路时形成ECMP，某一链路故障时必要同步域内设备推算	实用度：★★★★★ 规划好跳数、AS后，多链路时可形成ECMP，某一链路故障时将链路对应的下一跳从ECMP组内移除
需要六：矫捷节造	实用度：★★★ 利用Area、lSA类型进行路由传布的节造，相对复杂	★★★★ 利用丰硕的选路准则，对路由进行过滤、节造路由的收、发
需要七：收敛快	实用度：★★★ 路由数量少时，通过BFD联动可实现毫秒级收敛 公告的是链路状态信息，路由域大时，推算亏损大导致收敛会变慢	实用度：★★★★ 路由数量少时，通过BFD联动可实现毫秒级收敛 公告的是本地推算好的路由，路由域大也不会显著影响机能 ；同时BGP有基于AS的急剧切换技术

表1 大型数据中心路由和谈对比

通过上表分析，结合业界的一些实际，我们以为在中幼型数据中心，路由域内网络设备数量不多的情况下，使用OSPF和谈是比力相宜的
；而对于大型/超大型的数据中心，BGP的实用度会更高一些，建议部署BGP路由和谈。

写在最后

限于篇幅原因，本文只介绍了大型IDC首选BGP路由和谈组网的原因，并未涉及BGP和谈具体规划。iSlot官方网站网络在国内TOP3的互联网公司，均承建了大型/超大型数据中心网络，且使用BGP路由和谈组网。关于BGP路由和谈的具体规划，这里先抛出几个问题，等待后续与各人共同探求：

BGP私有AS号数量有限，对于大型数据中心,AS应该若何规划
？

BGP使用什么接口成立邻居
？ECMP/LACP场景下若何规划
？

BGP选路准则极度多，怎么合理利用
？

BGP机能、靠得住性、收敛速杜仔哪些优化的步骤
？

本期作者：颜晓波
iSlot官方网站网络互联网系统部行业征询

 

往期杰出回首  

• 【第一期】浅谈物联网技术之通讯和谈的纷争
• 【第二期】若何通过网络遥测（Network Telemetry）技术实现精密化网络运维
  ？
• 【第三期】畅谈数据中心网络运维自动化
• 【第四期】基于Rogue AP反造的无线安全技术探求
• 【第五期】流量可视化之ERSPAN的前世今生
• 【第六期】若何实现数据中心网络架构“去”堆叠
• 【第七期】运维可视化之INT职能详解
• 【第八期】浅析RDMA网络下MMU水线设置
• 【第九期】第七代无线技术802.11ax详解
• 【第十期】数据中心自动化运维技术索求之互换机零配置上线
• 【第十一期】 浅谈数据中心100G光
  ？
• 【第十二期】数据中心网络等价多蹊径（ECMP）技术利用钻研
• 【第十三期】若何为RDMA构建无损网络
• 【第十四期】基于EVPN的散布式VXLAN实现规划
• 【第十五期】数据中心自动化运维技术索求之NETCONF
• 【第十六期】一文读懂网络界新贵Segment Routing技术化繁为简的奥秘
• 【第十七期】浅谈UWB（超宽带）室内定位技术
• 【第十八期】PoE以太网供电技术详解
• 【第十九期】机框式主题互换机硬件架构演进
• 【第二十期】 IPv6基础篇（上）——地址与报文体式
• 【第二十一期】IPv6系列基础篇（下）——邻居发现和谈NDP
• 【第二十二期】IPv6系列安全篇——SAVI技术解析
• 【第二十三期】IPv6系列安全篇——园区网IPv6的接入安全战术
• 【第二十四期】Wi-Fi 6真的很“6”（概述篇）——不只是更高的传输速度
• 【第二十五期】 Wi-Fi 6真的很“6”（技术篇） ——前方高能，幼白慎入
• 【第二十六期】IPv6系列利用篇——数据中心IPv4/IPv6双栈架构探求
• 【第二十七期】你不成忽视的园区网ARP安全防护
• 【第二十八期】企业办公网接入认证技术详解
• 【第二十九期】互联网数据中心网络25G组网架构设计
• 【第三十期】数据中心网络运维的"巨人之剑"
• 【第三十一期】相识gRPC技术，这一篇就够了
• 【第三十二期】你真的足够相识Wi-Fi吗
  ？
• 【第三十三期】关于自动化仓储Wi-Fi网络无缝周游设计
• 【第三十四期】大型数据中心网络路由和谈选择

 

有关推荐：

• 新一代数据中心网络架构
• Clos组网技术
• 若何实现数据中心网络架构“去”堆叠
• 未来30年不落后的网络架构，智能网络
• 互联网数据中心网络25G组网架构设计