大型企业数据中心建设方案

1、目录目录 第第 1 章章 总述总述.4 1.1 XXX 公司数据中心网络建设需求.4 1.1.1 传统架构存在的问题.4 1.1.2 XXX 公司数据中心目标架构.5 1.2 XXX 公司数据中心设计目标.6 1.3 XXX 公司数据中心技术需求.7 1.3.1 整合能力.7 1.3.2 虚拟化能力.7 1.3.3 自动化能力.8 1.3.4 绿色数据中心要求.8 第第 2 章章 XXX 公司数据中心技术实现公司数据中心技术实现.9 2.1 整合能力.9 2.1.1 一体化交换技术.9 2.1.2 无丢弃以太网技术.10 2.1.3 性能支撑能力.11 2.1.4 智能服务的整合能力.11 2

2、.2 虚拟化能力.12 2.2.1 虚拟交换技术.12 2.2.2 网络服务虚拟化.14 2.2.3 服务器虚拟化.14 2.3 自动化.15 2.4 绿色数据中心.16 第第 3 章章 XXX 公司数据中心网络设计公司数据中心网络设计.17 3.1 总体网络结构.17 3.1.1 层次化结构的优势.17 3.1.2 标准的网络分层结构.17 3.1.3 XXX 公司的网络结构.18 3.2 全网核心层设计.19 3.3 数据中心分布层设计.20 3.3.1 数据中心分布层虚拟交换机.20 3.3.2 数据中心分布层智能服务机箱.20 3.4 数据中心接入层设计.22 3.5 数据中心地址路由

3、设计.25 3.5.1 核心层.25 3.5.2 分布汇聚层和接入层.25 3.5.3 VLAN/VSAN 和地址规划.26 第第 4 章章 应用服务控制与负载均衡设计应用服务控制与负载均衡设计.27 4.1 功能介绍.27 4.1.1 基本功能.27 4.1.2 应用特点.28 4.2 数据中心的应用情况.32 4.2.1 XXXX 应用 1.32 4.2.2 XXXX 应用 n.33 4.3 应用优化和负载均衡需求.33 4.3.1 XXXX 应用的负载均衡要求.33 4.3.2 开放式系统应用的负载均衡要求.34 4.4 应用优化和负载均衡设计.34 4.4.1 智能服务机箱设计.34

4、4.4.2 应用负载均衡的设计.37 4.4.3 地址和路由.40 4.4.4 安全功能的设计.43 4.4.5 SSL 分流设计 .44 4.4.6 扩展性设计.45 4.4.7 高可用性设计.46 第第 5 章章 网络安全设计网络安全设计.49 5.1 网络安全部署思路.49 5.1.1 网络安全整体架构.49 5.1.2 网络平台建设所必须考虑的安全问题.50 5.2 网络设备级安全.51 5.2.1 防蠕虫病毒的等 Dos 攻击.51 5.2.2 防 VLAN 的脆弱性配置.52 5.2.3 防止 DHCP 相关攻击.53 5.3 网络级安全.53 5.3.1 安全域的划分.54 5.

5、3.2 防火墙部署设计.54 5.3.3 防火墙策略设计.56 5.3.4 防火墙性能和扩展性设计.56 5.4 网络的智能主动防御.57 5.4.1 网络准入控制.58 5.4.2 桌面安全管理.59 5.4.3 智能的监控、分析和威胁响应系统.61 5.4.4 分布式威胁抑制系统.64 第第 6 章章 服务质量保证设计服务质量保证设计.67 6.1 服务质量保证设计分类.67 6.2 数据中心服务质量设计.67 6.2.1 带宽及设备吞吐量设计.67 6.2.2 低延迟设计.69 6.2.3 无丢弃设计.70 6.3 非数据中心网络的服务质量设计.71 6.3.1 QoS 实施方案.72

6、6.3.2 分析业务需求.72 6.3.3 QoS 策略的制定和部署.75 6.3.4 评测和调整.79 6.4 QOS 策略管理 .80 6.4.1 QoS 自动配置.80 6.4.2 QoS 策略管理器解决方案.80 第第 7 章章 网络管理和业务调度自动化网络管理和业务调度自动化.83 7.1 MARS 安全管理自动化.83 7.2 VFRAME业务部署自动化.83 第第 8 章章 两种数据中心技术方案的综合对比两种数据中心技术方案的综合对比.84 8.1 技术方案对比.84 8.1.1 传统技术领域对比.84 8.1.2 下一代数据中心技术能力比较.85 8.2 技术服务对比.87 8

7、.3 商务对比.88 8.4 总结.88 第第 9 章章 数据中心网络割接方案数据中心网络割接方案.89 第第 10 章章 附录：新一代数据中心产品介绍附录：新一代数据中心产品介绍.90 10.1 CISCO NEXUS 7000 系列 10 插槽交换机介绍.90 10.2 CISCO NEXUS 5000 / 2000 系列交换机介绍.91 10.3 CISCO NX-OS 数据中心级操作系统简介.93 第第 1 章章 总述总述 为进一步推进 XXX 公司信息化建设，以信息化推动 XXX 公司股份有限公司业务 工作的改革与发展，需要在新建的办公大楼内建设 XXX 公司的新一代绿色高效能数据

8、中心网络。 1.1 XXX 公司数据中心网络建设需求公司数据中心网络建设需求 1.1.1 传统架构存在的问题传统架构存在的问题 XXX 公司现有数据中心网络采用传统以太网技术构建，随着各类业务应用对 IT 需求的深入发展，业务部门对资源的需求正以几何级数增长，传统的 IT 基础架构方式 给管理员和未来业务的扩展带来巨大挑战。具体而言存在如下问题： 维护管理难：维护管理难：在传统构架的网络中进行业务扩容、迁移或增加新的服务功能 越来越困难，每一次变更都将牵涉相互关联的、不同时期按不同初衷建设的 多种物理设施，涉及多个不同领域、不同服务方向，工作繁琐、维护困难， 而且容易出现漏洞和差错。比如数据中

9、心新增加一个业务类型，需要调整新 的应用访问控制需求，此时管理员不仅要了解新业务的逻辑访问策略，还要 精通物理的防火墙实体的部署、连接、安装，要考虑是增加新的防火墙端口、 还是需要添置新的防火墙设备，要考虑如何以及何处接入，有没有相应的接 口，如何跳线，以及随之而来的 VLAN、路由等等，如果网络中还有诸如地 址转换、7 层交换等等服务与之相关联，那将是非常繁杂的任务。当这样的 IT 资源需求在短期内累积，将极易在使得系统维护的质量和稳定性下降，同 时反过来减慢新业务的部署，进而阻碍公司业务的推进和发展。 资源利用率低：资源利用率低：传统架构方式对底层资源的投入与在上层业务所收到的效果 很难得

10、到同比发展，最普遍的现象就是忙的设备不堪重负，闲的设备资源储 备过多，二者相互之间又无法借用和共用。这是由于对底层网络建设是以功 能单元为中心进行建设的，并不考虑上层业务对底层资源调用的优化，这使 得对网络的投入往往无法取得同样的业务应用效果的改善，反而浪费了较多 的资源和维护成本。 服务策略不一致：服务策略不一致：传统架构最严重的问题是这种以孤立的设备功能为中心的 设计思路无法真正从整个系统角度制订统一的服务策略，比如安全策略、高 可用性策略、业务优化策略等等，造成跨平台策略的不一致性，从而难以将 所投入的产品能力形成合力为上层业务提供强大的服务支撑。 因此，按传统底层基础设施所提供的服务能

11、力已无法适应当前业务急剧扩展所需 的资源要求，本次数据中心建设必须从根本上改变传统思路，遵照一种崭新的体系结 构思路来构造新的数据中心 IT 基础架构。 1.1.2 XXX 公司数据中心目标架构公司数据中心目标架构 面向服务的设计思想已经成为 Web2.0 下解决来自业务变更、业务急剧发展所带 来的资源和成本压力的最佳途径。从业务层面上主流的 IT 厂商如 IBM、BEA 等就提 出了摒弃传统的“面向组件（Component）”的开发方式，而转向“面向服务”的开 发方式，即应用软件应当看起来是由相互独立、松耦合的服务构成，而不是对接口要 求严格、变更复杂、复用性差的紧耦合组件构成，这样可以以最

12、小的变动、最佳的需 求沟通方式来适应不断变化的业务需求增长。鉴于此，XXX 公司数据中心业务应用正 在朝“面向服务的架构 Service Oriented Architecture（SOA）”转型。与业务的 SOA 相适应，XXX 公司提出支撑业务运行的底层基础设施也应当向“面向服务”的 设计思想转变，构造“面向服务的数据中心”（Service Oriented Data Center，SODC）。 传统组网观念是根据功能需求的变化实现对应的硬件功能盒子堆砌而构建企业网 络的，这非常类似于传统软件开发的组件堆砌，被已经证明为是一种较低效率的资源 调用方式，而如果能够将整个网络的构建看成是由封装

13、完好、相互耦合松散、但能够 被标准化和统一调度的“服务”组成，那么业务层面的变更、物理资源的复用都将是 轻而易举的事情。SODC 就是要求当 SOA 架构下业务的变更，导致软件部分的服务 模块的组合变化时，松耦合的网络服务也能根据应用的变化自动实现重组以适配业务 变更所带来的资源要求的变化，而尽可能少的减少复杂硬件的相关性，从运行维护、 资源复用效率和策略一致性上彻底解决传统设计带来的顽疾。 具体而言 SODC 应形成这样的资源调用方式：底层资源对于上层应用就象由服务 构成的“资源池”，需要什么服务就自动的会由网络调用相关物理资源来实现，管理 员和业务用户不需要或几乎可以看不见物理设备的相互架

14、构关系以及具体存在方式。 SODC 的框架原型应如下所示： 在图中，隔在物理架构和用户之间的“交互服务层”实现了向上提供服务、向下 屏蔽复杂的物理结构的作用，使得网络使用者看到的网络不是由复杂的基础物理功能 实体构成的，而是一个个智能服务安全服务、移动服务、计算服务、存储服 务等等，至于这些服务是由哪些实际存在的物理资源所提供，管理员和上层业务 都无需关心，交互服务层解决了一切资源的调度和高效复用问题。 SODC 和 SOA 构成的数据中心 IT 架构必将是整个数据中心未来发展的趋势，虽 然实现真正理想的 SODC 和 SOA 融合的架构将是一个长期的历程，但在向该融合框 架迈进的每一步实际上

15、都将会形成对网络灵活性、网络维护、资源利用效率、投资效 益等等方面的巨大改善。因此 XXX 公司本次数据中心的网络建设，要求尽可能的遵循 如上所述的新一代面向服务的数据中心设计框架。 1.2 XXX 公司数据中心设计目标公司数据中心设计目标 在基于 SODC 的设计框架下，XXX 公司新一代数据中心应实现如下设计目标： 简化管理：简化管理：使上层业务的变更作用于物理设施的复杂度降低，能够最低限度 的减少了物理资源的直接调度，使维护管理的难度和成本大大降低。 高效复用：高效复用：使得物理资源可以按需调度，物理资源得以最大限度的重用，减 少建设成本，提高使用效率。即能够实现总硬件资源占用量降低了，

16、而每个 业务得到的服务反而更有充分的资源保证了。 策略一致：策略一致：降低具体设备个体的策略复杂性，最大程度的在设备层面以上建 立统一、抽象的服务，每一个被充分抽象的服务都按找上层调用的目标进行 统一的规范和策略化，这样整个 IT 将可以达到理想的服务规则和策略的一致 性。 1.3 XXX 公司数据中心技术需求公司数据中心技术需求 SODC 架构是一种资源调度的全新方式，资源被调用方式是面向服务而非象以前 一样面向复杂的物理底层设施进行设计的，而其中交互服务层是基于服务调用的关键 环节。交互服务层的形成是由网络智能化进一步发展而实现的，它是底层的物理网络 通过其内在的智能服务功能，使得其上的业

17、务层面看不到底层复杂的结构，不用关心 资源的物理调度，从而最大化的实现资源的共享和复用。要形成 SODC 要求的交互服 务层，必须对网络提出以下要求： 1.3.1 整合能力整合能力 SODC 要求将数据中心所需的各种资源实现基于网络的整合，这是后续上层业务 能看到底层网络提供各类 SODC 服务的基础。整合的概念不是简单的功能增多，虽然 整合化的一个体现是很多独立设备的功能被以特殊硬件的方式整合到网络设备中，但 其真正的核心思想是将资源尽可能集中化以便于跨平台的调用，而物理存在方式则可 自由的根据需要而定。 数据中心网络所必须提供的资源包括： 智能业务网络所必须的智能功能，比如服务质量保证、安

18、全访问控制、设备 智能管理等等； 数据中心的三大资源网络：高性能计算网络；存储交换网络；数据应用网络。 这两类资源的整合将是检验新一代数据中心网络 SODC 能力的重要标准。 1.3.2 虚拟化能力虚拟化能力 虚拟化其实就是把已整合的资源以一种与物理位置、物理存在、物理状态等无关 的方式进行调用，是从物理资源到服务形态的质变过程。虚拟化是实现物理资源复用、 降低管理维护复杂度、提高设备利用率的关键，同时也是为未来自动实现资源协调和 配置打下基础。 新一代数据中心网络要求能够提供多种方式的虚拟化能力，不仅仅是传统的网络 虚拟化（比如 VLAN、VPN 等），还必须做到： 交换虚拟化 智能服务虚拟

19、化 服务器虚拟化 1.3.3 自动化能力自动化能力 自动化是 SODC 架构中上层自动优化的实现服务调用必须条件。在高度整合化和 虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与 物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络 的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和 调配实现。 这部分需要做到两方面的自动化： 网络管理的自动化 业务部署的自动化 1.3.4 绿色数据中心要求绿色数据中心要求 当前的能源日趋紧张，能源的价格也飞扬直上；绿地（绿地（Green Field）是我们每个 人都关心的议题。如何最大限

20、度的利用能源、降低功耗，以最有效率方式实现高性能、 高稳定性的服务是新一代的数据中心必须考虑的问题。 第第 2 章章 XXX 公司数据中心技术实现公司数据中心技术实现 根据以上新一代数据中心网络的技术要求，必须对传统数据中心所使用的常规以 太网技术进行革新，数据中心级以太网（Data Center Ethernet，简称 DCE）技术由 此诞生。 DCE 之前也被一些厂商称为汇聚型增强以太网技术（Converged Enhanced Ethernet，简称 CEE），是兼容传统以太网协议并按新一代数据中心的传输要求，对 其进行全面革新的一系列标准和技术的总称。因此，为达到 XXX 公司的新一代

21、数据中 心的建设目标，必须摒弃传统以太网技术，而采用新一代的 DCE（CEE）技术进行组 网。 具体而言，本次 XXX 公司数据中心所采用的 DCE 技术，可以达到以下的技术目 标。 2.1 整合能力整合能力 2.1.1 一体化交换技术一体化交换技术 DCE 技术的重要目标是实现传统数据中心最大程度的资源整合，从而实现面向服 务的数据中心 SODC 的最终目标。在传统数据中心中存在三种网络：使用光纤存储交 换机的存储交换网络（Fiber Channel SAN），便于实现 CPU、内存资源并行化处理 的高性能计算网络（多采用高带宽低延迟的 InfiniBand 技术），以及传统的数据局域 网。

22、DCE 技术将这三种网络实现在统一的传输平台上，即 DCE 将使用一种交换技术 同时实现远程存储、远程并行计算处理和传统数据网络功能。这样才能最大化的实现 三种资源的整合，从而便于实现跨平台的资源调度和虚拟化服务，提高投资的有效性， 同时还降低了管理成本。 XXX 公司业务的特点不需要超级计算功能，因此本次项目要实现存储网络和传统 数据网络的双网合一，使用 DCE 技术实现二者的一体化交换。当前在以太网上融合 传统局域网和存储网络唯一成熟技术标准是 Fiber Channel Over Ethernet 技术 （FCoE），它已在标准上给出了如何把存储网(SAN)的数据帧封装在以太网帧内进行

23、转发的相关技术协议。由于该项技术的简单性、高效率、经济性，目前已经形成相对 成熟的包括存储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。具体的协议发 布可参见 FCoE 的相关 Web Sites。 ( /fcoe ) 本次数据中心建设将做好 FCoE 的基础设施准备，并将在下一阶段完成基于 FCoE 技术的双网融合。 2.1.2 无丢弃以太网技术无丢弃以太网技术 为保证一体化交换的实现，DCE 改变了传统以太网无连接、无保障的 Best Effort 传输行为，即保证主机在通过以太网进行磁盘读写等操作、高性能计算所要求的远程 内存访问、并行处理等操作，不会

24、发生任何不可预料的传输失败，达到真正的“无丢 包”以太网目标。DCE 在网络中以硬件及软件的形式实现了以下技术： 基于优先级类别的流控基于优先级类别的流控 (Priority(Priority FlowFlow Control)Control) 通过基于 IEEE 802.1p 类别通道的 PAUSE 功 能来提供基于数据流类别的流量控制 带宽管理带宽管理 IEEE 802.1Qaz 标准定义基于 IEEE 802.1p 流量类别的带宽管理以及这些流量的优先级 别定义 拥塞管理拥塞管理 IEEE 802.1Qau 标准定义如何管理网络中的 拥塞(BCN/QCN) 基于优先级类别的流控基于优先级类别的流控在 DCE 的理念中是非常重要的一环，通过它和拥塞拥塞 管理管理的相互合作，我们可以构造出“不丢包的以太网不丢包的以太网”架构；这对今天的我 们来说，它的诱惑无疑是不可阻挡的。不丢包的以太网络提供一个安全的