商业银行数据中心网络建设方案

　 1

　 商业银行数据中心网络建设方案

　 2 目 录 1 、数据中心建设分析 ............................................................................................................... 3 1.1 背景 ................................................................................................................................... 3 1.2 建设重点 ............................................................................................................................ 3 2 、数据中心网络系统设计原则 ............................................................................................... 4 2.1 可靠性和可用性 ................................................................................................................. 4 2.2 可扩展性 ............................................................................................................................. 5 2.3 灵活性................................................................................................................................. 5 2.4 高性能................................................................................................................................. 5 3 、数据中心分区设计思想 ....................................................................................................... 5 3.1 区域划分 ............................................................................................................................ 5 3.2 分区设计的优点 ................................................................................................................. 6 4 、数据中心架构设计 ............................................................................................................... 6 4.1 设计概述 ............................................................................................................................. 6 4.1.1 VLAN 规划 ................................................................................................................ 8 4.1.2 路由设计 ................................................................................................................. 8 4.2 核心交换区设计 ................................................................................................................. 8 4.2.1 具体设计 ................................................................................................................. 8 4.2.2 VLAN 划分 ................................................................................................................ 8 4.2.3 路由规划 ................................................................................................................. 9 4.3 生产前置区规划 ............................................................................................................... 10 4.3.1 拓扑........................................................................................................................ 10 4.3.2 VLAN 规划 .............................................................................................................. 10 4.3.3 路由规划 ............................................................................................................... 10 4.4 广域网接入区规划（分行接入）

　.................................................................................. 11 4.5.1 路由规划 ............................................................................................................... 13 4.6 QoS 设计 ........................................................................................................................... 13 4.6.1 QoS 设计原则 ........................................................................................................ 13 4.6.2 QoS 服务模型选择 ................................................................................................ 14 4.6.3 QoS 规划 ................................................................................................................ 15 4.7 ARP 攻击防御 ................................................................................................................... 17 4.7.1 ARP 攻击原理 ........................................................................................................ 17 4.7.2 ARP 攻击的类型 .................................................................................................... 17 4.7.3 ARP 攻击解决方案 ................................................................................................ 20 4.7.4 其他技术 ............................................................................................................... 27 5 、数据中心管理 ..................................................................................................................... 28 5.1 数据中心管理设计原则 ................................................................................................... 28 5.2 网络管理 ........................................................................................................................... 29 5.3 网络监控 ........................................................................................................................... 31 6 、产品与关键技术 ................................................................................................................. 33 6.1 万兆以太网与 100G 平台技术的考虑 ........................................................................... 33 6.1.1 以太网发展进入 100G 时代 ................................................................................. 33 6.1.2 服务器万兆互联成为主流趋势 ............................................................................ 34

　 3 6.1.3 核心交换机的价格升级至 100G .......................................................................... 35 6.2 IRF 虚拟化技术 ................................................................................................................. 36 6.2.1 技术优点 ................................................................................................................ 36 6.2.2 典型组网应用 ........................................................................................................ 37 1 、 、 数据中心建设分析 1.1 背景 当前，国内四大国有商业银行、城市商业银行、邮政储蓄银行、农村信用社、证券等金融机构都在进行数据大集中之后的IT建设，而数据中心和灾备中心的建设是其中建设的重点。在这轮如火如荼的建设热潮中，主流的数据中心建设模型为“两地三中心”或“同城/异地双中心”。这两种模型一方面可以保证银行业务的可靠性、安全性、扩展性，另一方面可以对区域性自然灾害（地震、海啸等极端天气）或电力、火灾等突发性风险进行很好的防御，提高对风险、故障的抵御能力，并确保故障、灾害带来的数据、业务的损失降到最低，还可以在故障、灾害发生后数据、业务能够在最快的时间内迅速恢复。

　城市商业银行由于业务辐射范围集中，通常是建设标准的“同城异地双中心”。即通过新建灾难备份中心，实现对现有总行数据中心的备份，并逐步将主要生产业务和相关的IT软硬件环境迁移到新建中心，现有总行数据中心过渡为未来的灾备中心，通过这种循序渐进、稳扎稳打的方式，使得IT建设的发展呈现螺旋式上升的姿态。目标是建设一个专业的、先进的、模块化设计、可扩展的的数据中心IT基础设施架构，使得IT建设成为银行发展的重要承载平台和推动剂。

　在银行的数据中心与IT建设中，将根据自身现状，参考国内外大型商业银行的成功案例和最佳实践，最终建成数据集中存放、集中处理、面向客户、面向业务交易、面向管理的，先进高效、安全稳定、易扩充、易维护的智能化综合业务网络系统。

　 1.2 建设重点

　 基于银行的网络现状和前期的分析，银行的数据中心和整个IT建设是一个长期投入、逐步细化深入的过程，从 整体框架、内部结构优化、骨干网络升级、安全防护、运行管理等

　 4 几个方面入手，进行重点投入：

　1 1 、数据中心建设：依照国家和行业的相关标准与法律法规，借鉴国内外同行业经验，从银行的自身现状出发，完善数据中心，以应用级灾备为当前目标。

　在数据中心部署业务与服务器系统，实现对现有中心的数据、业务备份，确保现有中心故障情况下实现业务承接；并将主要生产业务逐步迁移到数据中心，实现生产中心与灾备中心的角色转变。

　此外，建立完备的灾难备份与恢复计划、灾备演练与恢复机制，将灾难备份与IT建设提升到新的高度。

　2 2 、新建数据中心优化：参考国内外同行业的组网模型，按照标准化、模块化、结构的原则进行生产中心的升级，改变现状生产中心过于扁平化、安全性低的现状，可以将生产中心规划为：

　核心交换区、DB服务器区、生产前置区、运行管理区、互联网接入区、广域网接入区、第三方接入区、测试区等功能模块。

　在各分区边界部署防火墙，确保访问的安全，实现生产中心的高性能、高安全、高扩展和易管理。

　2 、 、 数据中心网络系统设计原则 银行数据中心网络系统设计将模块化的、分层的、分级的现代数据中心设计理念，构建一个满足可扩展性、灵活性和高可用性方面需求的网络基础架构，实现对银行各业务系统提供统一的基础设施服务支持的目标。具体设计原则如下：

　2.1 可靠性和可用性 数据中心基础设施架构中应采用高可靠的产品和技术，充分考虑系统的应变能力、容错能力和纠错能力，确保整个基础设施系统运行稳定、可靠。

　当今，关键业务应用的可用性与性能要求对于银行交易来说，比任何时候都更为重要。如果客户与员工不能访问关键性应用，业务将遭受无法挽回的利润损失，并使生产力下降甚至是市场份额丢失。

　 5 系统的可用性指业务应用系统每天能有多少小时，每周有多少天，每年有多少周可以为用户提供服务，以及这些应用在发生故障时可以多快恢复工作的时间。在中，应保证所有应用每天 24 小时，每周 7 天，每年 52 周的可用性是非常重要的。数据中心的设施架构设计必须能够满足和达到这个目标。

　2.2 可扩展性 可扩展性是指当将来应用系统的业务量增加时，基础设施架构能够扩展以适应更多用户、交易与更多数据处理的能力。可扩展性应该通过尽可能扩展已有的系统来实现，而不是必须替换已有系统。可扩展性通过硬件、软件与应用等方面提供。

　2.3 灵活性 架构必须能够满足新的服务需求，而不需要对架构进行完全重新设计或进行超出正常维护时间之外的重大修改。获得灵活性的方法是依靠模块化的设计架构。

　2.4 高性能 “性能”指的是为所有应用最终用户提供要求的响应时间的能力。项目群基础设施架构要具备高性能，能够为用户提供可接受的响应时间。通常，诸如响应时间等性能特征应该根据真实的业务需求而设定。

　3 、数据中心分区设计思想 基于城市商业银行业务系统的需求，以及网络建设的基本原则，本案采用分区模块化设计思想构建数据中心网络。

　3.1 区域划分 采用模块化的分区设计方法，将数据中心划分为以下若干各功能区域。

　 6

　3.2 分区设计的优点 数据中心的各种业务系统根据其访问特征和功能特点被部署到不同的区域中，模块化分区设计的优点如下：

　 扩展性好，每个分区按照需求可以独立的进行扩展。

　 安全架构也是可以扩展的，每个分区都赋予特定的优先权，网络的重要区域都可以被定位。

　 未来对新应用的部署更容易。

　 每个分区可以再就网络进行分层、分级规划，由此使得网络结构更清晰、更易扩展、问题和故障定位更容易.。

　4 、 、 数据中心 架构设计 4.1 设计概述  数据中心 整体结构

　 7 数据中心主要需要建立IP网络和存储网络。在IP网络中，按业务功能和安全需要分为不同的网络区域，各个网络区域有独立的网络设备（如交换机、防火墙等）连接相应的主机、服务器、pc机等设备，每个网络区域的汇聚/接入交换机再连接到IP网的核心交换机上；每个网络区域内部可以根据需要再分为不同的控制区域。

　IP网络主要分为以下网络区域：核心交换区、运维管理区、互联网区、测试区网、生产前置区、DB服务器区、广域网接入区、第三方介入区，如图：

　 核心交换区：为生产网络的各功能子区提供核心路由交换。

　 生产前置区：部署银行生产服务和生产小机。

　 DB 服务器区：连接各种业务前置机专用区域  互联网区：提供各种互联网服务。

　 测试区：提供各种业务开发测试服务。

　 广域网接入区：部署下联各省市分行、台州支行、分理处的骨干网路由器。

　 第三方接入区：通过专线连接监管单位、合作伙伴，为第三方机构提供外联服务。

　 运行管理区：部署网络和系统管理及维护的业务系统。

　 8 4.1.1 VLAN 规划 在模块化网络架构中可以看到，数据中心首先是被划分为网络分区，然后基于每个应用对各自架构的QOS需求，再进一步将网络分区划分为逻辑组。为了完成以上阐述的模块化架构，需要在网络的第2层创建VLAN。在不同分区之间互联点和分区内部上行连接点上，都需要创建VLAN。

　4.1.2 路由设计 在数据内部，交换核心区域和其他功能区域的汇聚交换机之间运行 OSPF 骨干区域AREA 0，其他区域内部分别运行 OSPF 和静态路由。

　4.2 核心交换区设计 4.2.1 具体设计 在数据中心中，核心交换区连接了其他不同的分区。它也作为数据中心连接灾备中心和广域网络的连接点。核心区在数据中心架构中的作用是，尽可能快速地在网络之间实现数据传输的路由和数据交换。

　核心区主要部署两台高端交换机 S12508 交换机连接其他功能分区，提供 10G 和 GE 链路的双归属连接。两台核心交换器之间采取 Trunk 链路连接，启用 IRF 技术，将两条核心交换机虚拟成一台。核心区交换机连接到所有其他区的边缘设备，有两类连接连接到核心，一类是来自核心生产业务（比如生产核心区, 前置机区）的连接，对该类应用提供高速访问服务，采用万兆接口这两个区域的汇聚交换机。另一类是其它业务。每个区汇聚交换机/接入交换机都上行连接到 Core-SW1 和 Core-SW2。每个区交换机将使用单独的 VLAN，VLAN跨越两个交换机，上行链接到核心。

　4.2.2 VLAN 划分 与每个子区域的互联接口可划分为同一 VLAN，将核心交换区域与各子域的互联链路进行链路聚合。如下图所示：

　 9

　4.2.3 路由规划 在2台Core-SW1和Core-SW2核心交换机和各区域的汇聚交换机连接端口上运行OSPF动态路由协议，所属的区域为 Area 0,这样各个网络分区系统都可以通过核心区域知道整个网络系统的路由。

　采用 IRF 技术后，可以大大简化网络中的路由设置，减少需要的互联路由网段，其中，除网银与中间业务外联区外，其它区域的汇聚/接入交换机与核心之间的互联链路都进行聚合，生产核心区和前置机区在各自区域的核心/接入交换机上启用三层功能，采用 OSPF 和核心交换区之间进行互通；

　 10 4.3 生产 前置 区规划 4.3.1 拓扑

　生产核心区用于连接核心的生产业务系统的小机、服务器等生产主机；在该区域采用三层架构，采用全千兆智能接入交换机 S5120EI 系列交换机提供小机及服务器的光口、电口接入，每个接入交换机采用双千兆光口分别上行到生产核心区的两条汇聚交换机 S7503E 交换机上，两条 S7503E 交换机互相之间采用双万兆链路聚合捆绑，启用 IRF 功能，将两台汇聚交换机虚拟成一台交换机，每个 S7503E 各出一个万兆接口上联到数据中心核心交换机S12508 上，上行的两条万兆链路启用链路捆绑功能，聚合成一条 20G 的物理链路。

　4.3.2 VLAN 规划 上联到核心交换区的 VLAN 采用链路聚合，合并为一个 VLAN,在分区内部根据不同级别的应用再进一步分配。VLAN 分配主要考虑互联 VLAN 和主机。

　4.3.3 路由规划 汇聚层交换机与核心交换机间运行 OSPF 路由协议。在设备间运行 OSPF 时，建议将汇聚层 75 的相关接口划分在一个 OSPF－STUB 区域中，以免数据中心中收到过多的 LSA。

　各个功能区与核心区通讯路径要保证双向一致性和确定性。在任何链路状况下，通讯双方的往返路径均相同，并且可预知。生产核心区外连核心区的 2 条链路的进行链路捆绑，在

　 11 路由计算上，只有一条路径，但是该路径包含 2 个万兆端口，提供物理层面的冗余。

　4.4 广域网接入区规划 （分行接入）

　广域网接入区主要连接与各省市分行，市内各区县支行，分理处等的上联网络设备，该区使用两台SR6608核心路由器作为广域网的接入设备，每个SR6608配置48个广域接口。

　 12

　 13

　4.5.1 路由规划 广域网接入区与整个数据中心采用统一的策略和部署方案，在核心区作为 OSPF 骨干区的前提下，广域网接入区内部路由协议采用 OSPF，在区域内路由详细规划上，建议如下：

　 广域网路由器与核心交换机互联的端口，划分为 OSPF 骨干域 0 域  广域网路由器下联接口，按照原有的路由规划，划分为 1、2、3、4 和 10、20、30、40 等几个路由子域。

　 路由器到核心交换机上的链路采用 Trunk 链路进行连接。

　4.6 QoS 设计 4.6.1 QoS 设计原则 银行网络整网 QoS 设计遵循以下的原则：

　 正常情况下 QOS 是通过带宽来保证的。换句话说，即在网络带宽足够高的情况下，不需要 QOS 机制。当带宽利用率达到 60％可考虑扩容；

　 14  网络设备的容量不能成为瓶颈；  网络/链路故障或网络拥塞情况下 QOS 策略生效；  任何时候都优先保证实时业务。

　4.6.2 QoS 服务模型选择 为了更有效的利用带宽，使关键业务得到无阻塞的应用，网络需要进行 QoS 方案的设计实施，首先需要考虑选择合适的技术框架，也即服务模型。服务模型指的是一组端到端的QoS 功能，目前有以下三种 QoS 服务模型：

　1. Best-Effort service——尽力服务 2. Integrated service（Intserv）——综合服务 3. Differentiated service（Diffserv）——区分服务

　 Best- - Effort service ：尽力服务是最简单的服务模型。应用程序可以在任何时候，发出任意数量的报文，而且不需要事先获得批准，也不需要通知网络。网络则尽最大的可能性来发送报文，但对时延、可靠性等不提供任何保证。

　 Integrated service ：Intserv 是一个综合服务模型，它可以满足多种 QoS 需求。这种服务模型在发送报文前，需要向网络申请特定的服务。这个请求是通过信令（signal）来完成的，应用程序首先通知网络它自己的流量参数和需要的特定服务质量请求，包括带宽、时延等，应用程序一般在收到网络的确认信息，即网络已经为这个应用程序的报文预留了资源后，发送报文。而应用程序发出的报文应该控制在流量参数描述的范围内。

　 Differentiated service ：Diffserv 即区别服务模型，它可以满足不同的 QoS 需求。与 Integrated service 不同，它不需要信令，即应用程序在发出报文前，不需要通知路由器。网络不需要为每个流维护状态，它根据每个报文指定的 QoS，来提供特定的服务。可以用不同的方法来指定报文的 QoS，如 IP 包的优先级位（IP Precedence)、报文的源地址和目的地址等。网络通过这些信息来进行报文的分类、流量整形、流量监管和排队。

　这三种服务模型中，只有 Intserv 与 Diffserv 这两种能提供多服务的 QoS 保障。从技术上看，Intserv 需要网络对每个流均维持一个软状态，因此会导致设备性能的下降，或实现相同的功能需要更高性能的设备，另外，还需要全网设备都能提供一致的技术才能实现 QoS。而 Diffserv 则没有这方面的缺陷，且处理效率高，部署及实施可以分布进行，它只是在构建

　 15 网络时，需要对网络中的路由器设置相应的规则。

　对于 XX 集团广域网的 QoS，我们建议采用 Diffserv 方式进行部署。

　4.6.3 QoS 规划 CCITT 最初给出定义：QoS 是一个综合指标，用于衡量使用一个服务满意程度。QoS性能特点是用户可见的，使用用户可理解的语言表示为一组参数，如传输延迟、延迟抖动、安全性、可靠性等。

　银行网络中主要包括核心生产、非核心生产、办公、监控流量等业务应用，因此需要对现有业务系统进行分类，才能更好地保障业务的开展。

　 业务分类和标记

　针对银行的要求，对其主要的流量进行划分和标记，具体如下：

　业务类型

　业务特征

　IP Precedence

　IP DSCP

　网络控制协议 （hello、SLA）

　适用于网络维护与管理报文的可靠传输，要求低丢包率 7 56（CS7）

　监控流量 对时延、抖动较敏感；带宽需求高；需要可预计的时延和丢包率 5 34(AF41) 核心生产 适合重要数据业务,低丢包、高优先级 3 24(AF31) 非核心生产 适合普通数据业务，低丢包、 1 9(AF11) 办公业务 尽力而为（Best effort）转发 0 0  流量监管和整形

　在完成区分业务应用类型后，需要对整个广域网进行流量的监管和整形，对于银行广域网络来说，出口带宽是有限的，而入口带宽总是大于出口带宽，需要对入口和出口进行限制和整形，以保障关键流量的顺利转发。

　 队列管理

　在 Diffserv 体系的队列管理中，同样按照不同的边界范围采用不同的队列管理技术。

　广域网一般采用路由器组网，目前路由器主要支持的队列管理技术包括 PQ、CQ、WFQ、CBQ/LLQ，由于 PQ、CQ、WFQ 的种种问题，目前通常采用 CBQ/LLQ 做为骨干层的队列管理机制。CBWFQ\LLQ，有一个低时延队列 - LLQ，用来支撑 EF 类业务，被绝对优先发

　 16 送（优先级低于 RTP 实时队列）；另外有 63 个 BQ，用来支撑 AF 类业务，可以保证每一个队列的带宽及可控的时延；还有一个 FIFO/WFQ，对应 BE 业务，使用接口剩余带宽进行发送。但是请注意，由于涉及到复杂的流分类，对于高速接口（GE 以上）启用 CBQ\LLQ 特性系统资源存在一定的开销。

　另外如果边缘层与骨干层的接入采用低速的链路接入，因此也必须考虑相应的队列管理技术。如果接入带宽>=2M，则需采用骨干层一样的调度技术，即 CBQ/LLQ。如果接入带宽<2M，则需要考虑采用链路有效机制。可采用 LFI（链路的分段及交叉）技术避免大报文长期占用链路带宽，采用 LFI 以后，数据报文（非 RTP 实时队列和 LLQ 中的报文）在发送前被分片、逐一发送，而此时如果有语音报文到达则被优先发送，从而保证了语音等实时业务的时延与抖动。另外还可以采用 CRTP（IP /UDP/ RTP 报文头压缩）技术，以提高链路的利用率。

　 拥塞避免

　建议采用 WRED 加权丢弃技术，实现拥塞避免。

　WRED(Weighted early random detection)提供了对拥塞的控制，它不是等待缓冲区填满然后出现尾部丢弃，而是不停地监控缓冲的深度，并可以根据 IP header 中的 IP Precedence有选择地早期丢弃一些级别较低的 TCP 连接的包，保证关键数据的传送，并避免当缓冲满溢时丢弃大量的数据包。主要特点：一、WRED 利用活动队列管理，解决尾部删除的缺点；二、WRED 主要在 TCP 为主的 IP 网络中使用，因为 UDP 通信流不像 TCP 一样具有对分组删除具有响应能力；三、WRED 把非 IP 通信流看成优先级为 0，最低优先级，因此，非 IP通信流放在一个丢弃桶中，比 IP 通信更容易删除，这在大多数重要通信流（非）IP 通信流时可能遇到问题，但是这现象在 DCN 网络中通常不会出现。

　 部署实现

　在站点的路由器上配置 QoS 策略，首先启用 ACL 识别核心生产流（如：源地址+目的地址），打上优先级 DSCP 标记 AF31；再启用 CBQ（基于类的队列），将其引入 CBQ 的中优先级队列，由 CBQ 进行队列调度，抢占低优先级的带宽，优先转发报文。

　数据中心实现方法：在出口路由器上启用 ACL 识别核心流（如：源地址+目的地址），打上优先级 DSCP 标记 AF31；并启用 CBWFQ 和 PQ，将 ERP 放入到 PQ 的中优先队列中，优先转发。

　 17 4.7 ARP 攻击防御 4.7.1 ARP 攻击原理 近来， ARP 攻击问题日渐突出。严重者甚至造成大面积网络不能正常访问外网，用户深受其害。H3C 公司根据 ARP 攻击的特点，给出了有效的防 ARP 攻击解决方案。要解决ARP 攻击问题，首先必须了解 ARP 欺骗攻击的类型和原理，以便于更好的防范和避免 ARP攻击的带来的危害。

　ARP协议是用来提供一台主机通过广播一个ARP请求来获取相同网段中另外一台主机或者网关的 MAC 的协议。以相同网段中的两台主机 A、B 来举例，其 ARP 协议运行的主要交互机制如下：

　如果 A 需要向 B 发起通信，A 首先会在自己的 ARP 缓存表项中查看有无 B 的 ARP 表项。如果没有，则进行下面的步骤：

　A 在局域网上广播一个 ARP 请求，查询 B 的 IP 地址所对应的 MAC 地址; 本局域网上的所有主机都会收到该 ARP 请求; 所有收到 ARP 请求的主机都学习 A 所对应的 ARP 表项;如果 B 收到该请求，则发送一个 ARP 应答给 A,告知 A 自己的 MAC 地址; 主机 A 收到 B 的 ARP 应答后,会在自己的 ARP 缓存中写入主机 B 的 ARP 表项. 如上所述，利用 ARP 协议，可以实现相同网段内的主机之间正常通信或者通过网关与外网进行通信。但由于 ARP 协议是基于网络中的所有主机或者网关都为可信任的前提制定。导致在 ARP 协议中没有认证的机制，从而导致针对 ARP 协议的欺骗攻击非常容易。

　4.7.2 ARP 攻击的类型 目前 ARP 攻击中有如下三种类型。我们根据影响范围和出现频率分别介绍如下：

　 网关仿冒

　ARP 病毒通过发送错误的网关 MAC 对应关系给其他受害者，导致其他终端用户不能正常访问网关。这种攻击形式在校园网中非常常见。见下图：

　 18

　网关仿冒攻击示意图 如上图所示，攻击者发送伪造的网关 ARP 报文，欺骗同网段内的其它主机。从而网络中主机访问网关的流量，被重定向到一个错误的MAC地址，导致该用户无法正常访问外网。

　 欺骗网关

　攻击者发送错误的终端用户的 IP＋MAC 的对应关系给网关，导致网关无法和合法终端用户正常通信。这种攻击在校园网中也有发生，但概率和“网关仿冒”攻击类型相比，相对较少。见下图：

　欺骗网关攻击示意图

　 19 如上图，攻击者伪造虚假的 ARP 报文，欺骗网关相同网段内的某一合法用户的 MAC地址已经更新。网关发给该用户的所有数据全部重定向到一个错误的 MAC 地址，导致该用户无法正常访问外网。

　 欺骗终端用户

　这种攻击类型，攻击者发送错误的终端用户/服务器的 IP＋MAC 的对应关系给受害的终端用户，导致同网段内两个终端用户之间无法正常通信。这种攻击在校园网中也有发生，但概率和“网关仿冒”攻击类型相比，相对较少。见下图：

　欺骗终端攻击示意图 如上图，攻击者伪造虚假的 ARP 报文，欺骗相同网段内的其他主机该网段内某一合法用户的 MAC 地址已经更新。导致该网段内其他主机发给该用户的所有数据全部重定向到一个错误的 MAC 地址，导致该用户无法正常访问外网。

　 ARP 泛洪攻击

　这种攻击类型，攻击者伪造大量不同 ARP 报文在同网段内进行广播，导致网关 ARP表项被占满，合法用户的 ARP 表项无法正常学习，导致合法用户无法正常访问外网。主要是一种对局域网资源消耗的攻击手段。这种攻击在校园网中也有发生，但概率和上述三类欺骗性 ARP 攻击类型相比，相对较少。如下图：

　 20

　ARP泛洪攻击示意图

　4.7.3 ARP 攻击解决方案 通过对上述的 ARP 攻击类型的介绍。我们可以很容易发现当前 ARP 攻击防御的关键所在：如何获取到合法用户和网关的 IP-MAC 对应关系，并如何利用该对应关系对 ARP 报文进行检查，过滤掉非法 ARP 报文。H3C 公司有两条思路来解决这一关键问题，即认证模式和 DHCP 监控模式。分别对用户认证的过程和 IP 地址申请过程的监控，获取到合法用户的 IP-MAC 对应关系，从而解决不同环境下的 ARP 防攻击问题。

　 认证模式

　通过增强用户的认证机制来获取上线用户的 IP-MAC 对应关系，并且利用认证的手段来确认当前用户的合法性。从而有效的解决难以获取合法用户的 IP-MAC 对应关系的问题。同时通过事先在认证服务器上配置网关的 IP-MAC 对应关系的方式来集中管理网络中存在的网关的 IP-MAC 信息。当合法用户上线时，可以利用上述的两个关键信息对网络中存在的虚假 ARP 报文以过滤或者绑定合法的 ARP 信息，从而有效的防御 ARP 欺骗行为。H3C 的防御手段充分的考虑了方案实施的适应性要求，对虚假 ARP 报文加以过滤或者绑定合法ARP 信息的功能可以根据网络的条件分开使用。具体模式如下图所示：

　 21

　认证模式示意图  认证模式之终端防护

　在用户进行 802.1X 认证的过程中，通过 CAMS 服务器下发预定的网关 IP-MAC 映射到 iNode 客户端，iNode 客户端在用户 PC 上针对所有网卡查找匹配的网关，并将匹配网关的 IP-MAC 映射关系在 PC 上形成静态 ARP 绑定，从而有效防止针对主机的网关仿冒 ARP攻击。如下所示图：

　认证模式之终端防护示意图

　 22 H3C iNode 客户端，通过同 CAMS 服务器配合，由管理员在 CAMS 上设置正确的网关IP、MAC 对应列表，并传送至客户端，客户端无论当前 ARP 缓存是何种状态，均按照 CAMS系统下发的 IP、MAC 列表更新本地的 ARP 缓存，并周期性更新，保证用户主机网关 MAC地址的正确性，从而保证用户主机报文发往正确的设备。详细处理流程如下：

　CAMS 服务器上，由管理员预先设置正确的网关 IP-MAC 映射列表；待 iNode 客户端的认证请求成功通过，CAMS 服务器通过 Radius 报文将预设的网关 IP-MAC 列表下发到客户 PC 的接入交换机上，再由接入交换机透传给客户 PC 上的 iNode 客户端。

　iNode 客户端收到 CAMS 服务器下发的网关 IP-MAC 映射列表后，在客户 PC 上针对所有网卡查找匹配的网关（客户 PC 存在多个网卡的情况下，iNode 只匹配每个网卡的 default gateway），然后依据 CAMS 服务器下发的网关映射列表将匹配网关的 IP-MAC 映射在客户PC 上形成静态 ARP 表项并更新本地 ARP 缓存，从而保证客户 PC 的数据报文发往正确的网关设备； 为防止用户再次上线过程中网关 ARP 信息被篡改，iNode 客户端会根据 CAMS 服务器下发的正确的网关 IP-MAC 映射信息周期性的更新本地 ARP 缓存。

　 认证模式之接入绑定

　在用户进行 802.1X 认证的过程中，通过扩展 802.1X 协议报文，在 eapol 的 response 报文（code=1、type=2）中携带用户 PC 的 IP 地址（iNode 客户端需选定“上传 IP 地址”选项，且推荐客户 PC 上手工配置 IP 地址及网关），接入交换机通过监听 802.1X 认证过程的协议报文，将用户 PC 的 IP 地址、MAC 地址和接入端口形成绑定关系，在接入交换机上建立IP-MAC-Port 映射表项，并据此对用户发送的 ARP/IP 报文进行检测，从而有效防止用户的非法 ARP/IP 报文进入网络。如下所示图：

　 23

　认证模式之接入绑定示意图 首先，H3C iNode 客户端通过 802.1X 协议向 CAMS 服务器发起认证，并在 802.1X 协议的 Response 报文中携带客户 PC 的 IP 地址。

　接入交换机监听客户 PC 上传的 802.1X 认证报文，从客户 PC 回应的 Response 报文（code=1、type=2）中提取客户 PC 的 IP、MAC，待客户认证成功，将其与客户 PC 的接入端口进行绑定，建立 IP-MAC-Port 映射表项（周期性更新和老化）。根据这一表项，交换机对客户 PC 上行的 ARP/IP 报文进行检测，过滤源 IP/MAC 不匹配表项的数据报文，从而防止非法的攻击报文进入网络。

　 DHCP 监控模式

　接入交换机通过监控用户的正常动态 IP 地址获取过程，获取正常用户的 IP-MAC 对应关系在接入交换机上绑定。接入交换机过滤掉所有不匹配绑定关系的 ARP 报文，来防止接入的用户主机进行 ARP 欺骗攻击。这种防攻击手段能够有效防御本文所描述的所有攻击类型。业务流程如下图：

　 24

　DHCP SNOOPING模式示意图  ARP 入侵检测机制

　为了防止 ARP 中间人攻击，H3C 接入交换机支持对收到的 ARP 报文判断合法性。这是如何做到的呢？H3C 接入交换机可以动态获取（即，DHCP snooping 表项）或者静态配置合法用户的 IP-MAC 对应关系。并且在收到用户发送到 ARP 报文时，可以检查报文中的源IP地址及源MAC地址的绑定关系与所获取的合法用户IP-MAC对应关系表项是否匹配来判断该报文是否为合法 ARP 报文。通过过滤掉所有非法 ARP 报文的方式来实现，所有 ARP欺骗攻击。如下图：

　ARP入侵检测功能示意图 10.10.1.3MAC C10.10.1.2MAC B10.10.1.1MAC A伪造的ARP应答：10.10.1.3 是MAC B伪造的ARP应答：10.10.1.1是MAC B与 与DHCP Snooping 表项不匹配 ， 无法通过ARP 入侵检测

　 25

　 动态 IP 地址分配环境的工作机制

　当用户为动态 IP 地址分配环境时。接入交换机可以通过监控用户的 IP 地址申请过程，从而自动学习到合法用户的 IP-MAC 对应关系。并依据该表项实现对合法 ARP 报文的确认和非法 ARP 报文的过滤。

　那么这些动态表项是如何形成的呢？当开启 DHCP Snooping 功能后，H3C 接入交换机采取监听 DHCP-REQUEST 广播报文和 DHCP-ACK 单播报文的方法来记录用户获取的 IP地址等信息。目前，H3C 接入交换机的 DHCP Snooping 表项主要记录的信息包括：分配给客户端的 IP 地址、客户端的 MAC 地址、VLAN 信息、端口信息、租约信息，如 0 所示。

　DHCP Snooping表项示意图 为了对已经无用的 DHCP Snooping 动态表项进行定期进行老化删除，以节省系统的资源，和减少安全隐患，H3C 接入交换机支持根据客户端 IP 地址的租约对 DHCP Snooping 表项进行老化。具体实现过程为：当 DHCP Snooping 至少记录了一条正式表项时，交换机会启动 20 秒的租约定时器，即每隔 20 秒轮询一次 DHCP Snooping 表项，通过表项记录的租约时间、系统当前时间与表项添加时间的差值来判断该表项是否已经过期。若记录的表项租约时间小于系统当前时间与表项添加时间的差值，则说明该表项已经过期，将删除该条表项，从而实现 DHCP Snooping 动态表项的老化。

　需要注意的是：当 DHCP 服务器端的租约设置为无限期或者很长时，会出现老化不及时的现象。

　 静态 IP 地址分配环境的工作机制

　DHCP Snooping 方式下，DHCP Snooping 表只记录了通过 DHCP 方式动态获取 IP 地址的客户端信息。对于不能通过动态 IP 地址获取的部分主机以及打印机等服务器来说，DHCP snooping没有自动办法获取到这部分用户的合法IP-MAC对应关系，因此不能自动加以绑定。为了解决这个问题，H3C 的交换机也支持手工配置合法用户的 IP-MAC 对应关系，形成静态合法用户的 IP-MAC 表项。，如果用户手工配置了固定 IP 地址，其 IP 地址、MAC 地址等

　 26 信息将不会被 DHCP Snooping 表记录，因此不能通过基于 DHCP Snooping 表项的 ARP 入侵检测，导致用户无法正常访问外部网络。

　即：用户的 IP 地址、MAC 地址及连接该用户的端口之间的绑定关系。静态配置的IP-MAC 表项拥有和动态学习的 DHCP Snooping 表项的同样功能。接入交换机可以依据配置的静态表项实现对合法 ARP 报文的确认，和非法 ARP 报文的过滤。从而可以很好的解决静态 IP 地址分配环境下的部署问题。

　 ARP 信任端口设置

　在实际组网中，交换机的上行口会接收其他设备的请求和应答的 ARP 报文，这些 ARP报文的源 IP 地址和源 MAC 地址并没有在 DHCP Snooping 表项或者静态绑定表中。为了解决上行端口接收的 ARP 请求和应答报文能够通过 ARP 入侵检测问题，交换机支持通过配置ARP 信任端口，灵活控制 ARP 报文检测功能。对于来自信任端口的所有 ARP 报文不进行检测，对其它端口的 ARP 报文通过查看 DHCP Snooping 表或手工配置的 IP 静态绑定表进行检测。

　 DHCP 信任端口设置

　系统默认所有接口下过滤 DHCP Ack 和 Offer 报文，以防止非法 DHCP 服务器对网络的影响，但这样就会过滤掉交换机上行接口接收到的合法 DHCP 服务器回应的 Ack 和 Offer报文。为了解决这一问题，交换机支持配置 DHCP Snooping 信任端口，对于来自信任端口的所有 DHCP 报文不进行检测，而其他非信任端口则只允许 DHCP Discover 和 Request 报文进入。

　 ARP 限速功能

　H3C 低端以太网交换机还支持端口 ARP 报文限速功能，来避免此类攻击对局域网造成的冲击。

　开启某个端口的 ARP 报文限速功能后，交换机对每秒内该端口接收的 ARP 报文数量进行统计，如果每秒收到的 ARP 报文数量超过设定值，则认为该端口处于超速状态（即受到 ARP 报文攻击）。此时，交换机将关闭该端口，使其不再接收任何报文，从而避免大量ARP 报文攻击设备。同时，设备支持配置端口状态自动恢复功能，对于配置了 ARP 限速功能的端口，在其因超速而被交换机关闭后，经过一段时间可以自动恢复为开启状态。

　 27 4.7.4 其他技术  基于网关 IP/MAC 的 ARP 报文过滤功能

　按照 ARP 协议的设计，网络设备收到目的 IP 地址是本接口 IP 地址的 ARP 报文（无论此 ARP 报文是否为自身请求得到的），都会将其 IP 地址和 MAC 地址的对应关系添加到自身的 ARP 映射表中。这样可以减少网络上过多的 ARP 数据通信，但也为“ARP 欺骗”创造了条件。

　实际网络环境，特别是校园网中，最常见的 ARP 攻击方式是“仿冒网关”攻击。即：攻击者伪造 ARP 报文，发送源 IP 地址为网关 IP 地址，源 MAC 地址为伪造的 MAC 地址的ARP 报文给被攻击的主机，使这些主机更新自身 ARP 表中网关 IP 地址与 MAC 地址的对应关系。这样一来，主机访问网关的流量，被重定向到一个错误的 MAC 地址，导致该用户无法正常访问外网。

　网关仿冒攻击示意图 为了防御“仿冒网关”的 ARP 攻击，H3C 以太网交换机支持基于网关 IP/MAC 的 ARP报文过滤功能：

　将接入交换机下行端口（通常与用户直接相连的端口）和网关 IP 进行绑定。绑定后，该端口接收的源 IP 地址为网关 IP 地址的 ARP 报文将被丢弃，其他 ARP 报文允许通过。

　将接入交换机级联端口或上行端口和网关 IP 地址、网关 MAC 地址进行绑定。绑定后，该端口接收的源 IP 地址为指定的网关 IP 地址，源 MAC 地址为非指定的网关 MAC 地址的ARP 报文将被丢弃，其他 ARP 报文允许通过。

　 ARP 报文源 MAC 一致性检查功能

　Gateway Switch攻击者 Host A网关的MAC 更新了

　 28 恶意用户可能通过工具软件，伪造网络中其他设备（或主机）的源 IP 或源 MAC 地址的 ARP 报文，进行发送，从而导致途径网络设备上的 ARP 表项刷新到错误的端口上，网络流量中断。

　为了防御这一类 ARP 攻击，增强网络健壮性，H3C 以太网交换机作为网关设备时，支持配置 ARP 报文源 MAC 一致性检查功能。通过检查 ARP 报文中的源 MAC 地址和以太网报文头中的源 MAC 地址是否一致，来校验其是否为伪造的 ARP 报文。

　如果一致，则该 ARP 报文通过一致性检查，交换机进行正常的表项学习； 如果不一致，则认为该 ARP 报文是伪造报文，交换机不学习动态 ARP 表项的学习，也不根据该报文刷新 ARP 表项。

　5 、 、 数据中心 管理 5.1 数据中心管理设计原则 人、设备、流程的管理是 IT 的主要传统任务,数据中心运维管理建设的重点在于利用好现有资源，整合信息及其系统，实现科技的整体规划和标准管理。同时，借助于科技网络化的管理工具，可以达到提高运维日常工作效率和管理效率的双重功效。数据中心运维管理建设需要遵循的基本原则如下：

　 集中性原则

　系统规划、设计和建设要以管理系统集中、数据集中、处理集中为原则，统一规划、统一标准、统一设备、统一开发与应用。

　 先进性和成熟性原则

　用科学的方法（如 ITIL）及工具进行系统规划和设计，避免盲目性和随意性；选择技术先进、具有一定代表水平并且成熟的技术方法和产品来建设数据中心管理系统。

　 安全、保密性原则

　从设备安全、网络安全、数据安全等多角度考虑管理系统的安全性和保密性，采用多种手段对安全性和保密性进行控制来确保企业业务经营信息的安全。

　 急用先行、稳步实施原则

　数据中心管理系统是一个庞大复杂的系统工程，在系统建设过程中，应遵循急用先行的原则，优先建设急需的系统，同时要考虑到信息化建设的全局，逐步完成系统建设。

　 29 5.2 网络管理 （1 1 ）设备管理

　数据中心设备主要包括服务器、路由器、交换机、安全（FW、IPS）等基础设施，建议按照统一管理的原则，由一套管理平台来对数据中心的全局资源进行监控，出现故障或告擎后能够快速找到故障点。这一个全局的平台需要监控机柜、网络安全设备、服务器及虚拟机资源的状态，如下图所示：

　对于服务器内运行的数据库、中间件，也需要在这个全局的平台上了解其运行状态，如下图所示：

　 30

　对服务器的状态监控在部署时应注意避免在服务器上安全客户端软件，以防信息的泄漏。

　（2 2 ）拓扑管理

　数据中心拓扑管理不仅可以自动发现网络物理拓扑结构，还需要提供分区拓扑、机房拓扑、机架拓扑、设备面板、用户拓扑等功能，可将全网设备根据不同的管理区域、楼层、机房、机架、面板、用户等进行划分，建立资源、业务与用户的统一拓扑视图，方便管理员从各个维度对数据中心的各种资源进行管理。

　（3 3 ）配置管理

　1）资源化的配置和软件管理 配置模板库维护网络设备配置模板文件、用户常用的配置模板片段两种资源；配置模板文件可部署为设备的启动配置或者运行配置；配置模板片断可部署为设备的运行配置，也可通过启用“下发命令后将设备运行配置保存为启动配置”选项部署为启动配置，并且配置内容可以带有参数，在部署时根据设备的差异设置不同的值。

　2）集中化的设备配置和软件信息展示 提供全网设备的配置文件、软件版本信息集中式展示，包括设备的当前软件版本、最新可用于升级的软件版本、最近备份时间、是否已加入自动备份计划等信息；可提供管理员对设备的集中操作包括设备配置部署、设备配置备份与恢复、设备软件升级与恢复、设备空间管理、设备软件基线化管理功能，极大的方便了管理员直观的掌握当前网络的配置和软件版本。

　3）基线化的设备配置变更审计

　 31 通过配置备份历史和软件升级历史的管理，实现基线化的设备配置变更审计功能，使配置文件管...