数据中心网络架构三层分析

       传统的数据中心网络技术， STP是二层网络中非常重要的一种协议。用户构建网络时，为了保证可靠性，通常会采用冗余设备和冗余链路，这样就不可避免的形成环路。而二层网络处于同一个广播域下，广播报文在环路中会反复持续传送，形成广播风暴，瞬间即可导致端口阻塞和设备瘫痪。因此，为了防止广播风暴，就必须防止形成环路。这样，既要防止形成环路，又要保证可靠性，就只能将冗余设备和冗余链路变成备份设备和备份链路。即冗余的设备端口和链路在正常情况下被阻塞掉，不参与数据报文的转发。只有当前转发的设备、端口、链路出现故障，导致网络不通的时候，冗余的设备端口和链路才会被打开，使得网络能够恢复正常。实现这些自动控制功能的就是STP(Spanning Tree Protocol，生成树协议)。

　　由于STP的收敛性能等原因，一般情况下STP的网络规模不会超过100台交换机。同时由于STP需要阻塞掉冗余设备和链路，也降低了网络资源的带宽利用率。因此在实际网络规划时，从转发性能、利用率、可靠性等方面考虑，会尽可能控制STP网络范围。

　　一、 大二层也是为了流通的要求

　　随着数据大集中的发展和虚拟化技术的应用，数据中心的规模与日俱增，不仅对二层网络的区域范围要求也越来越大，在需求和管理水平上也提出了新的挑战。

　　数据中心区域规模和业务处理需求的增加，对于集群处理的应用越来越多，集群内的服务器需要在一个二层VLAN下。同时，虚拟化技术的应用，在带来业务部署的便利性和灵活性基础上，虚拟机的迁移问题也成为必须要考虑的问题。为了保证虚拟机承载业务的连续性，虚拟机迁移前后的IP地址不变，因此虚拟机的迁移范围需要在同一个二层VLAN下。反过来即，二层网络规模有多大，虚拟机才能迁移有多远。

　　传统的基于STP备份设备和链路方案已经不能满足数据中心规模、带宽的需求，并且STP协议几秒至几分钟的故障收敛时间，也不能满足数据中心的可靠性要求。因此，需要能够有新的技术，在满足二层网络规模的同时，也能够充分利用冗余设备和链路，提升链路利用率，而且数据中心的故障收敛时间能够降低到亚秒甚至毫秒级。

　　二、 大二层需要有多大

　　既然二层网络规模需要扩大，那么大到什么程度合适?这取决于应用场景和技术选择。

　　1. 数据中心内

　　大二层首先需要解决的是数据中心内部的网络扩展问题，通过大规模二层网络和VLAN延伸，实现虚拟机在数据中心内部的大范围迁移。由于数据中心内的大二层网络都要覆盖多个接入交换机和核心交换机，主要有以下两类技术。

　　虚拟交换机技术

　　虚拟交换机技术的出发点很简单，属于工程派。既然二层网络的核心是环路问题，而环路问题是随着冗余设备和链路产生的，那么如果将相互冗余的两台或多台设备、两条或多条链路合并成一台设备和一条链路，就可以回到之前的单设备、单链路情况，环路自然也就不存在了。尤其是交换机技术的发展，虚拟交换机从低端盒式设备到高端框式设备都已经广泛应用，具备了相当的成熟度和稳定度。因此，虚拟交换机技术成为目前应用最广的大二层解决方案。

　　虚拟交换机技术的代表是H3C公司的IRF、Cisco公司的VSS，其特点是只需要交换机软件升级即可支持，应用成本低，部署简单。目前这些技术都是各厂商独立实现和完成的，只能同一厂商的相同系列产品之间才能实施虚拟化。同时，由于高端框式交换机的性能、密度越来越高，对虚拟交换机的技术要求也越来越高，目前框式交换机的虚拟化密度最高为4:1。虚拟交换机的密度限制了二层网络的规模大约在1万～2万台服务器左右。

　　隧道技术

　　隧道技术属于技术派，出发点是借船出海。二层网络不能有环路，冗余链路必须要阻塞掉，但三层网络显然不存在这个问题，而且还可以做ECMP(等价链路)，能否借用过来呢?通过在二层报文前插入额外的帧头，并且采用路由计算的方式控制整网数据的转发，不仅可以在冗余链路下防止广播风暴，而且可以做ECMP。这样可以将二层网络的规模扩展到整张网络，而不会受核心交换机数量的限制。

　　隧道技术的代表是TRILL、SPB，都是通过借用IS-IS路由协议的计算和转发模式，实现二层网络的大规模扩展。这些技术的特点是可以构建比虚拟交换机技术更大的超大规模二层网络(应用于大规模集群计算)，但尚未完全成熟，目前正在标准化过程中。同时传统交换机不仅需要软件升级，还需要硬件支持。

　　2. 跨数据中心

　　随着数据中心多中心的部署，虚拟机的跨数据中心迁移、灾备，跨数据中心业务负载分担等需求，使得二层网络的扩展不仅是在数据中心的边界为止，还需要考虑跨越数据中心机房的区域，延伸到同城备份中心、远程灾备中心。

　　一般情况下，多数据中心之间的连接是通过路由连通的，天然是一个三层网络。而要实现通过三层网络连接的两个二层网络互通，就必须实现“L2 over L3”。

　　L2oL3技术也有许多种，例如传统的VPLS(MPLS L2VPN)技术，以及新兴的Cisco OTV、H3C EVI技术，都是借助隧道的方式，将二层数据报文封装在三层报文中，跨越中间的三层网络，实现两地二层数据的互通。这种隧道就像一个虚拟的桥，将多个数据中心的二层网络贯穿在一起。

　　另外，也有部分虚拟化和软件厂商提出了软件的L2 over L3技术解决方案。例如VMware的VXLAN、微软的NVGRE，在虚拟化层的vSwitch中将二层数据封装在UDP、GRE报文中，在物理网络拓扑上构建一层虚拟化网络层，从而摆脱对网络设备层的二层、三层限制。这些技术由于性能、扩展性等问题，也没有得到广泛的使用。

　　一、数据中心之间的互联方式

　　网络三层互联。也称为数据中心前端网络互联，所谓"前端网络"是指数据中心面向企业园区网或企业广域网的出口。不同数据中心(主中心、灾备中心)的前端网络通过IP技术实现互联，园区或分支的客户端通过前端网络访问各数据中心。当主数据中心发生灾难时，前端网络将实现快速收敛，客户端通过访问灾备中心以保障业务连续性;

　　网络二层互联。也称为数据中心服务器网络互联。在不同的数据中心服务器网络接入层，构建一个跨数据中心的大二层网络(VLAN)，以满足服务器集群或虚拟机动态迁移等场景对二层网络接入的需求;

　　SAN互联。也称为后端存储网络互联。借助传输技术(DWDM、SDH等)实现主中心和灾备中心间磁盘阵列的数据复制。

　　二、数据中心二层互联的业务需求

　　服务器高可用集群

　　服务器集群(Cluster)，是借助集群软件将网络上的多台服务器关联在一起，提供一致的服务，对外表现为一台逻辑服务器。多数厂商(HP、IBM、微软、Veritas等)的集群软件需要各服务器间采用二层网络互联。将集群中的服务器部署于不同数据中心，可实现跨数据中心的应用系统容灾。

　　服务器搬迁和虚拟机动态迁移

　　数据中心进行扩建或搬迁时，需要将物理服务器从一个数据中心迁至另一个数据中心。在此过程中，考虑以下两个因素，需要在数据中心间构建二层互联网络：

　　当服务器被迁至新机房，如未构建新老中心间的二层互联网络，则面临重新规划新中心服务器IP地址的问题，同时还需修改DNS，或修改客户端应用程序配置的服务器IP。因此，构建跨中心的二层互联网络可保留被迁移服务器的IP地址，进而简化迁移过程;

　　在服务器搬迁期间，经常在给定的时间内，只能将服务器群的一部分服务器迁至新中心，为保证业务连续性，需建立跨中心的服务器集群，构建跨越中心的二层互联网络可实现服务器平滑迁移。

　　与服务器搬迁类似的情况是"虚拟机迁移"。当前，一些服务器虚拟化软件可实现在两台虚拟化的物理服务器之间对虚拟机做动态迁移。迁移至另一中心的虚拟机不仅保留原有IP地址，而且还保持迁移前的运行状态(如TCP会话状态)，所以必须将涉及虚拟机迁移的物理服务器接入同一个二层网络(虚拟机在迁移前后的网关不变)，这种应用场景要求构建跨中心的二层互联网络。

　　三、数据中心二层互联设计要点

　　1.前提要素--现网状态

　　选择数据中心二层互联方案的前提要素是明确用户在多个数据中心之间具有哪些网络资源。网络资源的不同直接决定了用户将采用何种组网方案：

　　运营商、大型互联网企业：裸光纤或DWDM传输资源，对应RRPP环网方案或HUB-SPOKE方案;

　　运营商、大企业、金融、政府机构：MPLS网络，对应VPLS组网方案;

　　中小企业客户：IP网络，对应VPLSoverGRE组网方案

　　2.核心要素--性能

　　时延

　　数据中心之间二层互联是为了实现虚拟机的异地调度和集群异地应用，为了实现这一点，必须满足虚拟机VMotion和集群存储异地访问的时延要求。第一个限制是VMotion同步会话距离。第二个要求是存储网络。DC之间的存储必须实现同步访问或是镜像访问。

　　需要注意的是，在VPLS或是IP网络环境中，由于网络中存在大量复杂的应用，所以必须通过部署全网QoS来保证DCI互联数据流的服务质量。流量环境越复杂，则QoS配置工作量越大，时延指标越难以满足。VPLS网络通常应用于企业或是行业的专用业务，流量环境相对于IP网络较简单，所以在部署QoS方面有一定优势。

　　带宽

　　数据中心互联的核心需求之一就是保证虚拟机跨DC的迁移。vSphere5.0之前的版本，VMotion对于迁移链路的带宽有明确的要求-带宽不小于622M;vSphere5.0的版本，VMotion对于迁移链路的带宽不小于250M。

　　从带宽资源的分配情况来看，裸光纤或DWDM的带宽资源最为充足，VPLS和IP网络的带宽资源相对紧张，必须部署全网端到端的QoS优先级来保证DCI业务流量的带宽要求。

　　3.关键要素--HA

　　数据中心二层互联的关键因素就是如何提高可用性。提高HA的一个最有效的方式就是设计备份链路、备份节点。如果结合提高互联带宽的需求，则建议设计负载分担的互联路径，在提高互联带宽的同时，也能够保证系统异常时能够实现业务的快速收敛，提高HA指标。

　　以DWDM网络为例，建议利用IRF实现DCI链路的高HA和链路负载分担设计方案。

　　在裸光纤或是DWDM互联组网方案中，DCI互联的两端PE设备必须支持IRF，将PE之间的两条(或多条)链路通过聚合(LACP)技术形成一条逻辑链路，会极大的简化DCI的组网拓扑。同时，这两条HA链路的带宽会得到100%的利用，达到1:1的负载分担效果。

　　四、数据中心二层互联方案设计

　　1.基于裸光纤或DWDM线路的二层互联

　　裸光纤或DWDM二层互联方案需要用户在现网中拥有光纤或传输资源，对用户要求较高，但从使用的角度来看，裸光纤或DWDM方案的性能是最优的。

　　基于裸光纤或DWDM线路的二层互联方案有两种选择：HUB-SPOKE方案和RRPP环网方案。前者的优点是基于最短路径转发，所以转发效率高;后者的优点则是环网天然的转发路径冗余设计，所以HA性能较高。

　　Hub-Spoke组网方案

　　通过裸光纤或是DWDM将多个(例如4个)数据中心互联。为了方便扩展更多的数据中心节点，一个最常用的方案就是采用HUB-SPOKE组网模型，即通过一个核心节点与各数据中心的汇聚层互联。在逻辑结构上，多个中心与核心节点构成了一个Hub-Spoke的星形拓扑，其中核心节点为HUB，各中心汇聚层为Spoke。

　　在Hub-Spoke组网环境中，核心节点是最重要的，关系到全网是否能正常运转，是保证多数据中心HA的关键因素。如何提高核心节点的HA性能?一个最重要的设计理念就是在核心节点应用IRF技术，将两台设备通过IRF技术形成一台设备，将核心设备故障异常的收敛时间从几十秒降低到毫秒级，也就是说可以将系统的HA性能提高将近两个量级。这一点对于Hub-Spoke组网方案是非常重要的。