新纶科技集中备份系统规划建议书

　新纶科技

　集中 备份 归档 系统 规划 建议书

　二〇二〇年九月 CommVault 技术白皮书

　目

　录

　第 1 章

　前言.............................................................................................................. 4

　1.1

　概述 ................................................................................................ 4

　1.2

　备份的必要性 ................................................................................... 4

　1.3

　数据恢复演练计划 ............................................................................. 5

　第 2 章

　用户现状和需求分析 ................................................................................. 6

　2.1

　用户现状 .......................................................................................... 6

　2.2

　目标需求分析 ................................................................................... 7

　2.3

　分期实施计划 ................................................................................... 8

　第 3 章

　一 期备份方案 ............................................................................................. 9

　3.1

　备份系统拓扑设计 ............................................................................. 9

　3.2

　备份服务器搭建及保护 ..................................................................... 11

　3.3

　O RACLE 数据库备份策略.................................................................... 11

　3.4

　EXCHANGE

　保护策略 ..................................................................... 14

　3.5

　SQL 数据库备份策略 ........................................................................ 19

　3.6

　非结构化文件备份及归档策略 ............................................................ 21

　3.7

　重复数据删除技术 ........................................................................... 24

　3.8

　分布式索引技术 .............................................................................. 27

　3.9

　其他软件功能介绍 ........................................................................... 29

　第 4 章

　COMMVAULT 运维管理 ...................................................................... 32

　4.1

　C OMM V AULT 运维概述 ...................................................................... 32

　4.2

　阶段一：备份前预检 ........................................................................ 32

　4.3

　阶段二：备份时监控 ........................................................................ 33

　4.4

　阶段三：备份后演练 ........................................................................ 40

　4.5

　阶段四：灾难时应对 ........................................................................ 41

　第 5 章

　COMMVAULT 服务介绍 ...................................................................... 43

　5.1

　产品安装服务 ................................................................................. 43

　5.2

　健康检查服务 ................................................................................. 44

　5.3

　客户化培训服务 .............................................................................. 44

　第 6 章

　后期规划 ................................................................................................... 45

　6.1

　分中心灾难备份拓扑架构 .................................................................. 45

　6.2

　D ASH C OPY 异地复制 ........................................................................ 45

　6.3

　大型数据库快照保护 ........................................................................ 47

　6.4

　数据库应急方案 .............................................................................. 49

　6.5

　自动恢复演练 ................................................................................. 51

　6.6

　方案的整体优势 .............................................................................. 52

　第 7 章

　一期安装实施说明 ................................................................................... 54

　7.1

　安装准备及计划阶段 ........................................................................ 54

　7.1.1

　用户及安装工作小组 ..................................................................................... 54

　7.1.2

　备份服务器及介质服务器信息 ..................................................................... 55

　7.1.3

　备份设备信息 ................................................................................................. 55

　7.1.4

　备份客户端信息 ............................................................................................. 56

　7.1.5

　安装实施计划 ................................................................................................. 57

　7.2

　实施及调试阶段 .............................................................................. 58

　7.2.1

　CommServer 安装及配置 .......................................................................... 58

　7.2.2

　存储策略配置 ................................................................................................. 59

　7.2.3

　应用系统备份报告 ......................................................................................... 60

　7.2.4

　报告配置 ......................................................................................................... 60

　7.3

　现场培训 ........................................................................................ 61

　第

　1 章

　前言

　1.1 概述

　承蒙新纶科技有限公司对慷孚系统公司(CommVault)公司的信任和厚爱，提供我们参与其集中备份系统设计的机会，我们不胜感激及深表荣幸。CommVault公司将本着诚挚、科学的态度，充分考虑贵方的需求，利用我们国际领先的科技和丰富的设计、项目经验，提供最佳的专业服务，以及高性价比的系统设计方案，提供一套优质的数据容灾备份方案。

　慷孚系统公司 CommVault®

　Systems 于 1996 年从 AT&T 贝尔实验室分立出来发展成独立的软件公司，致力于数据管理方案的创新。CommVault SIMPANA 平台提供统一的数据管理产品，已被全球众多 2000 强企业采用。

　1.2 备份 的必要性

　随着信息技术的发展，企业和政府部门越来越依赖于电子数据处理来进行它的商业行为和管理，电子数据处理的高可靠性和高可用性越来越成为关键。

　如果数据丢失，业务的开展将变得极其困难，更为重要的是，核心数据的丢失，严重时完全有可能造成整个系统的瘫痪。如果政府部门核心数据丢失，严重时会引起政治事件。因此,在限定的时间内成功的灾难恢复将应该是一个战略计划中的一个关键组成部分。

　尽管随着科学技术的发展，计算机系统的可靠性日益增加，但是人为的操作错误、软件缺陷、硬件故障、电脑病毒、骇客攻击、自然灾难等诸多因素，均有可能造成数据的丢失，依然可以轻而易举地摧毁企业赖以生存的 IT 系统，从而造成无法估量的损失。所以，建立高可靠性的备份系统便成了必然的选择。

　1.3 数据恢复 演练 计划

　很多企业建设灾难备份系统，重视硬件系统的投资，那是看得见的“实实在在”的设备，而轻视在灾难恢复计划(DRP)的“软件”投入，其实这是非常严重的误区。

　备份系统的建设是需要同时满足 RTO 和 RPO 指标的，恢复时间对我们及用户来说是至关重要的，试想，如果没有一套行之有效的 DRP，在灾难发生时，即使 “硬件”是运行正常的，(如果没有经常的测试来验证，又如何能保证是正常的?)谁来组织进行灾难恢复?人员如何分工?根据什么来进行恢复？忙中生乱，可能会产生更大的乱子。因此，必须为灾难备份系统建立一套灾难恢复计划，包括建立灾难备份系统的管理机制和组织架构、灾难响应流程、灾难切换流程、灾难应急流程等。

　灾难恢复计划必须定期的进行演练，演练不但是为了熟悉容灾切换、回切流程，使企业内部各部门及人员熟悉自己在容灾中所扮演的角色，做到胸有成竹，才能够在灾难真正发生的时刻有条不紊地开展恢复的过程，而且可以提高人们的安全意识，在平时维护、软件升级时注意灾难备份系统的维护。通过演练，还可以发现切换、回切流程的不足，验证和优化灾难恢复计划，确保在灾难发生时，灾难恢复计划能够行之有效的。

　演练的过程可以分为“纸上谈兵”和实地演习两种方式，根据企业需要及对业务影响的不同分别采用。

　需要注意的是，无论平时的测试如何完善，也没有办法预测可能发生的灾难情况。关键人员的损失或者关键文档的丢失，都有可能对灾难恢复计划的执行造成巨大影响。因此，在灾难演练过程中要注意到人员的交叉备份情况，除了每个人自己所担负的责任外，尽量做到关键步骤有后备人选作为应变。

　第

　2 章

　用户现状和需求分析

　2.1 用户现状

　目前新纶科技的 IT 数据存放在深圳本地机房， 主要有邮件系统、BPM 系统、招投标系统、数据库等，涉及的操作系统有 AIX、Linux、Windows，数据库有Oracle，MSSQL，Exchange 等，具体系统信息如下：

　主机类 型 操作系统版本 数据类型 系统架构 数据量(GB) IBM 小机 AIX oracle/file 集群双机 150 物理机 Linux oracle/file 集群双机 150 物理机 windows sql2005/file

　 120 物理机 windows file

　 150 物理机 windows file

　 400 物理机 windows file

　 1000 物理机 windows 邮件

　 2000 物理机 windows 邮件

　 2000 物理机 windows 邮件

　 500 物理机 windows 邮件

　 500 物理机 windows SQL2008/BPM

　 500 物理机 windows oracle

　 500 物理机 windows 招投标系统

　 300 合计

　 8270

　 新纶科技集团当前还有大量系统没有使用专业的备份软件对数据进行保护，使用手工脚本方式备份，随着新纶科技的业务发展及后续集团数据集中的规划，目前这种没有统一备份架构的方式已经不能满足未来 IT 的发展需求。主要存在以下弊端：

　1、企业的数据是企业宝贵的财富，在出现灾难情况下需要有完善的应急保护机制，做到有备用数据可以恢复，且能保证恢复成功率，所以一个企业数据的备份需要统一的数据管理软件来进行保护，做到自动化，智能化，提高数据安全度。

　2、企业的发展是迅速的，需要数据管理软件能够横向扩展，支撑后续可能出现的大数据量下的多站点备份恢复需求。并能支持海量非机构化数据的保护。传统

　的备份软件在海量数据情况下会存在索引瓶颈，阻碍备份系统的横向扩展。

　3、传统的备份软件很难实现用户自服务，权限控制，操作审计等功能，不利于后续新纶科技 IT 环境的运维。

　4、传统备份软件没有提供流程化工具，对于像定期数据恢复演练这种数据验证需求无法提供一个简单、自动化的解决方案，需要人工去做大量的操作和文档，不利于运维。

　5、人工管理备份会有工作量大，管理分散，备份准确率和成功率难以保证等问题。

　6、手工备份的数据无法得到有效的验证，基本无法确认数据备份的可用性，也没有很好的数据恢复验证工具。

　7、手工备份的数据一般采用通用的存放文件格式，安全性低，随时有泄密的风险。而且也缺乏数据管理监控。

　8、因为没有重删技术，重要数据会因为带宽等因素很难实现异地（跨机房、跨城市）保存，存在灾难风险。

　9、Exchange 邮件系统除了要考虑备份，还要考虑归档需求，因为不断增长的邮件数据会让服务器压力和备份工作成为一个难题。

　随着新纶科技业务模式的发展，迫切需要寻求另外的数据管理方案。为此CommVault 公司提供了一个统一化数据管理平台，实现对企业数据的分析、备份、归档、快照保护、搜索、报表等一体化的解决方案。

　2.2 目标 需求 分析

　新纶科技集团本期集中备份项目主要包含以下目标：

　a) 构建统一数据管理平台，实现备份、归档、搜索、图形化报表等功能，核心业务和非核心业务 RPO、RTO 可按需求定制。

　b) 快速备份，确保备份成功率，缩短备份窗口，提高备份数据实时性； c) 保护现有没有纳入保护应用数据：Exchange、Oracle、SQLSERVER、AD，操作系统、应用数据等； d) Exchange 邮件系统实现空间归档功能，将旧邮件自动归档到二线存储，实现数据分级存储，提供更好的用户体验和服务器性能。并为备份提供便利。

　e) 部署管理简单、操作简单易懂，全图形化、流程化操作；

　f) 保护现有硬件架构，平滑扩展。

　g) 建立数据管理运维流程规范，模板化和流程化数据管理。

　h) 软件日常运维便利性，权限控制、审计、用户自服务等方式减轻运维人员工作量。

　i) 远期规划：实现备份数据的异地保存（DR 备份）

　除上述灾难备份要求外，在技术和管理方面还有以下问题需要注意：

　 项目实施的风险：由于现有的系统都是正在运行的关键系统，一定要注意项目实施的风险，最好不要对现有系统存储或数据库进行较大的改变，最好不要重新安装系统和数据库。

　 管理权限问题：对系统备份管理权限管理必须合理，如备份和恢复权限应该分开，避免错误恢复而导致系统破坏。

　 统一监控问题：在数据中心能对系统的运维状况进行监控管理，及时发现问题，并能进行事后审计监督和优化改进。

　 恢复 演 练：数据恢复演练是灾难恢复的重要环节，因此要求能方便进行数据恢复演练。

　 投资保护问题：尽量要利用现有的主机和存储设备。

　2.3 分期实施 计划

　新纶科技有限公司集中备份系统实施计划分多期进行：

　 第一期完成CommVault软件部署，将没有纳入备份的客户端纳入保护，建立一个统一的备份域，实现数据在深圳机房本地保护，对未保护的Exchange、Oracle、SQLSERVER、AD、VDI 虚拟桌面，操作系统、文件应用数据等实施备份保护, 对邮件系统提供归档，提供合理的计算机分组和权限策略，并通过报表系统提供运维的便利。

　 后期随着新纶科技数据集中管理的规划提供平滑扩容方案，，部分数据实现异地 DR（Disaster Recovery）保护，对大型数据库提供结合存储快照保护等手段保证备份窗口和 RTO，同时对恢复演练等需求通过工作流实现模板化和自动化管理。

　本次方案建议书，将对第一期数据备份改造项目提出具体方案，对后期方案提出展望和规划。

　第

　3 章

　一期备份方案

　3.1 备份系统拓扑 设计

　根据新纶科技目前的系统架构、数据类型和备份设备的情况，CommVault建议的集中备份规划拓扑如下：

　 大体改造概述如下：

　 新增备份服务器兼介质服务器，管理调度整个备份归档域，管理备份介质，索引管理，重复数据删除等。

　 本地新增备份存储空间，存放备份和归档数据，数据量考虑为备份数据量的 2-3 倍。

　 Exchange、SQL、Oracle 等数据库主机部署客户端软件，实现自动化在线备份。VDI 和文件服务器等部署客户端软件实现自动化备份。定制好合理的存储和计划策略。

　 远期规划：异地机房部署介质服务器和存储空间，将本地机房的数据重删之后复制到异地，实现异地容灾。

　 软件提供用户分组、权限管理、报表管理、告警功能、工作流等优化运维管理的功能。

　备份系统构成说明如下：

　 备份服器 务器 CS：Windows 平台服务器，建议 12core,32GB 内存，内置硬盘 500GB，具有至少 2 张 Gb 网络接口、2 张 8GB FC 接口。

　 介质器 服务器 MA：支持 UNIX、LINUX、WINDOWS 平台服务器（新纶科技本次项目建议 Windows 平台服务器），需要做 LAN FREE 的主机需要安装此模块，对于 VMware 虚拟机备份和其他 LAN 方式的备份需要根据数据量和备份策略准备若干台 MA，建议 12core,32GB 内存，具有 2*Gb 网络接口、内置硬盘 500GB，2*8GB FC 接口。对于磁盘介质重删建议配置 300GB 15K 转速，RAID 组的 SAS 高速磁盘作为重删数据库存放地。

　 磁盘 备份介质 ：中低端 SAN 或 NAS 存储，可用空间为备份数据量的2.5-3 倍，吞吐量建议不低于 400MB/S。

　 IP 网络改造建议：在生产机的网络负载比较高的情况下如果走 LAN 方式备份，建议新增备份网卡，配置专用的备份 IP 地址进行备份，做到备份网络和生产网络隔离，互不影响。需要确认生产机是否有冗余的网卡。

　具体设备配置建议：

　角色 建议配置 数量 机房 用途 备份服务器 介质服务器 Windows 平 台 服 务 器 ， 建 议12core，32GB 内存，500GB 内置硬盘，具有至少 2 张 Gb 网络接口、2*8GB FC 接口。对于磁盘介质重删建议配置 300GB SAS 高速磁盘作为重删数据库存放地。

　1 新纶科技本地机房 管理和调度整个备份域，同时兼介质服务器，承担生产系统的数据传输工作和索引管理等。

　本地备份空间 新增中低端存储设备，建议可用容量不少于 24TB，吞吐量不小于400MB/S。

　1 新纶科技本地机房 存放本地数据备份 网卡 网络负载高的主机需要使用专用备份网卡（如没有需要新增），配置专用的备份网段 IP。

　若干 新纶科技机房 实现备份网和生产网的隔离。

　3.2 备份服务器搭建及保护

　 CommVault 对自身数据库提供便捷的灾难恢复方式，当备份服务器出现灾难的时候，只需要在新的服务器上部署好 CommVault 软件，将灾难备份的数据恢复到新的服务器，即可完成备份服务器灾难恢复。由于 CommServer 的metadb 一般比较小，不超过 4GB，在提前部署好 CommVault 软件的情况下整个恢复过程不超过 10 分钟。具体恢复界面如下：

　3.3 e Oracle 数据库 备份 策略

　对 Oracle 服务器，小于 1TB 的数据库可以直接通过 LAN 方式进行数据备份，备份数据流程如下图所示。

　对 ORACLE 数据库的数据备份的目的是在数据故障时，快速通过Commvault 平台联合客户机上的 Oracle iDA 进行恢复。Commvault 对Oracle 的恢复是通过 GUI 全图形化实现的，用户无需脚本编写，并提供时间点、备份集、Archive SCN 级别提供多种恢复选择。能完美提供全库、表空间级、表级，本机、异机恢复。

　例如图形化配置备份界面：

　 图形化恢复界面：

　还可以实现物理备份之后恢复单个逻辑表：

　 整个配置过程体现了 CommVault 配置的图形化，简单化，能直接通过console 控制台监控所有 oracle 备份和恢复的日志，无需登录生产机。

　RMAN 备份的前提是需要将所有 Oracle 数据库置于 archive log 模式，利用 RMAN 备份控制文件、数据文件、归档日志。备份策略方面，将采用每周全备份，每日增量备份方式。

　3.4 EXCHANGE

　保护 策略

　CommVault 能对 EXCHANGE 实现数据保护，并提供颗粒备份恢复，邮件归档，邮件搜索等功能。具体可以做到如下效果：

　 Exchange 邮件保护：通过 CommVault 的邮件级别保护引擎，将 Exchange 系统中的单个邮件，备份到备份服务器上的备份硬盘上。同时转存到磁带上，实现邮件级别的保护。

　 Exchange 系统保护：通过 CommVault 数据库和文件保护模块，将 Exchange DB 和AD 域、CAS 服务器等系统环境进行保护。

　 Exchange 邮件归档：通过 CommVault 的归档模块，将普通用户的历史邮件归档到备份服务器的备份磁盘上，实现邮件的分级存储。并且转存到磁带上，实现邮件归档。

　 Exchange 法规遵循：启用 Exchange2013 的日志邮箱功能，日志跟踪某些用户的所有来往邮件。并且通过 CommVault 的归档功能，将这些日志邮箱中的邮件归档到备份服务器的磁盘中，并且转存到磁带上，从而实现法规遵循。

　 OutLook 查询功能：在用户的 OutLook 客户端，安装相应插件，这样用户可以直接在 OutLook 中查询已经被备份和归档走的邮件，方便了查询和恢复。

　1、备份支持度：

　 支持备份/恢复包括：AD/操作系统等完整的 Exchange 系统

　 支持对 Exchange 下 DB/MB/PF/WF 的备份和恢复

　 支持 Exchange 各种版本，包括：2007/2010/2013  支持 Exchange 各种群集系统，包括：DAG/LCR/CCR/SCR/SCC  支持单邮件，小颗粒度的备份和恢复

　  支持网络/SAN/快照备份方式

　 支持源端全局去重备份方式

　 支持快照备份

　 2、onepass 备份加归档保护功能：

　 根据策略将用户的历史邮件归档到 2 级存储，包括：磁盘/磁带/云存储

　 解决用户邮箱的配额问题

　 减少在线磁盘占用，并且减少备份资源的消耗

　 集中归档降低用户邮件系统的总成本

　 使用全局源端去重减少归档磁盘占用量

　 支持客户端各种方式回调历史邮件，包括：OutLook/OWA/Http 方式

　 3、法规遵从流程：

　 拷贝到日志邮箱  给它分配一个序列号  给它一个时间戳  为内容建索引  给它一个审计索引  写入到 WORM 介质  能被经过授权的人查寻 4、邮件搜索功能：

　只需要 1 个 WEB 界面，就能够通过关键字，在 Exchange 在线系统，备份数据，归档数据中查找所需要的邮件。

　 实际邮件管理拓扑图如下，邮件可以备份和直接归档到磁带库。

　本期新纶科技先部署 Exchange 的数据库备份、AD 备份和邮件级别的备份，

　后续在邮件系统数据量增大或者出现邮件审计需求的时候 CommVault 可以平滑的提供邮件归档、法规遵从、法规搜索等功能。满足用户多样化的数据管理需求。

　3.5 L SQL 数据库备份策略

　对 Windows SQL 服务器,由于数据量比较小，我们可采用 LAN 备份模式进行数据备份，能节省备份介质的共享度，无需为每个需要备份的客户端分配备份存储空间。备份数据流程如下图所示。需要在生产服务器上安装备份代理模块FS iDA 和 SQL iDA，可以进行普通文件备份和 SQL 数据库在线备份。备份数据通过 LAN 传输到备份存储，可以在传输的过程控制网络传输流量。

　对于大于 1TB 的 SQL 数据库，由于数据量大，通过千兆网络备份会占用很长时间，长时间对网络造成高负载，这种情况可以考虑通过 LANFREE 的方式对数据库进行备份，LANFREE 需要将 MA 模块直接部署到 SQL 数据库主机上，生产数据通过 SAN 网络从生产存储到主机然后直接到虚拟带库，不经过生产 IP网络走数据，可以大大提升备份速度，降低备份时间窗口。

　CommVault 是调用 SQL VDI 接口来备份/恢复 SQL Server 的，备份配置

　只要在 GUI 中就能方便的完成，选择服务器，设定用户、账号和密码，选择备份的策略以及相关的介质服务器就基本完成了备份配置。具有下列特点：

　高性能：

　 利用 MSDN API 进行在线备份和恢复，确保数据库在任何时候都能进行保护；  支持虚拟设备接口 VDI，使备份和恢复的数据传输速度更快；  与 SQL 的条带功能无缝结合，能把多个数据流写到多个磁带驱动器，使备份速度更快；  能进行多流并行备份和恢复数据库，降低对系统的要求，满足备份窗口；  具有内嵌共享存储的 LAN Free 备份功能；  SQL 的恢复能让用户选择数据库，也能完成异机恢复，时间点恢复； 数据可靠性:  自动的灾难热恢复策略，减小由于数据损坏和硬件出错带来的宕机时间；  从备份断点处自动继续备份的能力，节省备份时间，确保数据保护作业完成；  具有时间点或逐步恢复数据库的功能，提供灵活的恢复选择，更快确定数据丢失的范围；  在备份时，自动发现新的 SQL 数据库，确保新增加的数据被保护；

　易用性：

　 全 GUI 界面及向导，更快的部署和更方便的管理；  具有用户访问及安全控制策略，创建 NT、Exchange、SQL 用户组，赋予操作权限，并自动限制没有授权组的操作功能；  具有过滤功能的统一事件监控和观察；

　 在恢复计划中调用 Import 脚本，可实现自动恢复操作

　 在恢复任务中嵌入 Import 脚本，在恢复好备份文件后，自动执行 Import脚本，将自动恢复数据库，使整个恢复过程是自动的，无需人工干预。

　3.6 非结构化 文件备份 及归档 策略

　针对文件的备份和归档 CommVault 也有独特的解决方案，传统的普通小文件备份由于在前期扫描和后期做索引阶段会耗费大量时间，并且在后续进行文件归档的时候会重复对文件进行扫描和做索引，这会造成服务器重复运算，CommVault针对小文件提供了Onepass完美的解决方案，具体管理目标如下：

　1、数据分析 – 为制定文件管理策略提供依据

　 完善的数据管理方案是建立在科学的数据分析基础之上的，及时、全面、科学的数据分析，能从宏观、微观多视角度了解数据存储及分布状况，为制定数据管理的策略提供了科学的依据，为日常的数据管理提供了有效的手段。

　2、分层存储 – 减少备份数据总量

　依据分析结果制定分层存储策略，将满足策略条件的老文件（如访问频率低、文件比较大等）移动到近线存储，并把近线存储上的文件同步归档到离线存储上，

　从而降低备份数据总量。

　3、采用快速备份技术 – 提高备份速度

　利用数据分类、块级备份、快照备份等技术，对海量小文件进行快速备份，避免因备份扫描时间长、读取数据慢造成备份性能低。

　4、备份系统的扩展能力 – 满足系统长期需求

　采用分布式索引技术，避免单一索引过于集中而产生的系统瓶颈，而

　导致系统无法满足数据进一步增长的需求

　 Onepass是CommVault独有的针对小文件备份归档及搜索的一体化的方案，原理如下：

　 最佳配置方式：

　启用 Discover & Analysis with File level analysis 选项。

　 第一次 OnePass 作业是一个传统的全备份，之后的所有作业仅是增量备份以及合成全备份。

　启用重删时，强烈推荐使用 DASH FULL 选项。

　在当前周期内的所有数据应该保留在磁盘库中，以便提高合成全备/DASH FULL 的性能。

　与 DCE 结合可以大幅度减少扫描时间。

　备份流程图如下所示：

　3.7 重复数据删除技术

　 CommVault 重复数据删除是基于数据块级别来比较数据是否重复。块级相对于文件级重复数据删除，能够更精细的识别出重复数据，重复数据删除比会更高。

　重复数据删除使用 Hash 散列算法来比较数据 。软件有一个专用的签名生成器模块来为每个数据块生成 hash 签名（特征值/指纹），通过比较生成的签名值来判断数据块是否是相同的，hash 算法能够保证如果生成的签名是相同的，则数据块内容就是相同的，即为重复的数据。CommVault 采用 SHA 512 (Secure Hash Algorithm)算法来生成签名，SHA512 是目前为止最为安全的散列算法。根据比较结果，服务器执行如下操作：

　 如果签名是唯一的，说明没有与该数据块相同的数据保存在备份介质里，则将数据块写入备份介质并且将生成的签名存入专门的重复数据删除数据库中  如果签名与已经存在的签名相同，说明已经有相同的数据块存在于以前的备份数据里，则不需要将该数据块写入备份介质，只需要在重复数据删除数据库中增加一项，由指针指向以前的数据块。

　下表是重删的整个执行过程：

　操作 描述 备份操作 启用重复数据删除后备份操作顺序与常规备份基本相同 当备份作业发起后，备份模块收集需要备份数据然后传输数据到介质代理服务器。

　顺序如下：

　1、 如果在客户端启用压缩功能，首先压缩数据 2a、如果启用源端重复数据删除，客户端签名生成器模块产生数据块的签名，根据比较结果决定是否传送物理块 2b、如果采用的是目标端重复数据删除，数据传送到介质代理服务器，由服务器签名生成器模块产生数据块的签名，根据比较结果决定是否写入物理块

　恢复操作 数据恢复操作与常规恢复完全一样，重复数据删除对其没有任何影响。恢复过程不需要重组重复数据删除数据，也不需要使用重复数据删除数据库。所以恢复速度不受影响。

　辅助拷贝 如果第 2 副本没有启用重复数据删除，则辅助拷贝操作会重组重复数据删除数据块，形成数据的一份完整物理拷贝。

　如果第 2 副本启用了重复数据删除，则可采用 DASH 拷贝实现保持重复数据删除格式的数据复制。

　CommVault 的重复数据删除的主要优点包括：

　 高效的使用存储介质：

　将存储需求降低高达 90%。每个存储策略对存放在该存储策略中的所有数据块进行重复数据删除，如果采用了全局重复数据删除，还可以在多个存储策略中进行全局重复数据删除，删除所有其他客户端的重复数据。

　 高效的使用网络：源端重复数据删除技术在客户 端 消 除 重 复 的 备 份 和 归 档 数 据，传输的是已经去重后的数据，能够节省网络带宽。第一次全备完成后，网络中传送的都是变化数据，可以有效的减少网络传输。

　 全局重复数据删除：通过全局重删具有不同保护策略的不同位置上的几百个客户端的重复数据，可跨越不同的存储系统、不同 的存储策略，最大限度地消除多个数据中心的重复数据。

　 与开放存储平台兼容：

　通过开放系统软件，轻松而经济高效地扩展。开放式重复数据删除使用户不再局限于某种设备的。可以使用任何开放式磁盘平台，只要它满足数据保护策略要求 。

　 健壮的索引和恢复机制：恢复数据时不需要使用重复数据删除数据库，即使该数据库损坏也不影响数据恢复，增强了数据的可恢复性。

　 在备份数据存储到云或磁带时保持重复数据删除格式，减少网路带宽、减少云存储和磁带使用量，降低数据保留成本。

　 能创建多个有效的重复数据删除数据的副本；每个副本可以使用不同的保存策略，以满足业务的需求。

　 使用新的 DASH Copy 和 DASH Full 功能，显著缩短创建冗余重复数据删除副本所需的时间。

　 简单管理— 只需要几个简单的点击操作就可以启用重复数据删除功能，并可以在源端和目标端重复数据删除间来回切换，也可以随时启用或禁用重复数据删除，以满足业务要求。

　 并行重删，多个重删节点组成重删网格联合去重，可以线性提升备份性能和重删容量。多个重删节点还增加了可靠性，网格中即使有一个节点不可用，剩余的节点可以继续工作接管备份。故障节点在后台自动修复，然后加入网格继续工作。内置的故障切换能力能够使备份作业不间断。

　3.8 分布式索引技术

　多站点备份系统的核心架构与索引机制密切相关，因为多站点备份中心需要对海量大数据进行备份，每个备份对象都要有一条索引来记录其属性，如：备份数据的来源，备份数据存储的物理位置，备份数据的大小，数据类型等。通常备份索引占备份数据量的2%到4%，如果备份数据量高达1000TB，比较稳妥的索引空间应该为4TB。索引机制通常有两大类型：

　 集中索引机制，所有的索引存放在一台服务器上；  分布式索引机制，把索引分散放在多台服务器上。

　对于一个小型备份系统，集中索引是可行的，但对于一个云备份中心，集中式索引将成为系统的瓶颈，因为备份和恢复都需要密集访问索引服务器，如果索引量太大，访问的效率将会明显下降，导致整个备份系统效率低下，甚至瘫痪！

　 云备份中心索引机制最好采用分布式索引机制，把索引分散存放在多台服务上，为了便于集中统一管理，采用二级索引机制。一级索引记录每个备份对象的备份信息，分散存储在介质服务器MA上，二级索引记录备份作业信息，存储在备份管理服务器CS上，上图描述了二级索引存放的机制。我们用一个简单例子来说明，如果对1万个文件进行一次备份，会产生1万条一级索引记录，会产生1条二级索引记录。这样在在备份管理服务器中只增加1条记录，在介质服务器中增加1万条记录。不难看出，当备份数据越来越大时，介质服务器的压力会越来越大，因此必须通过增加介质服务器来缓解压力。

　我们采用的分布式索引机制，具有以下特点和优势：

　 集中管理，虽然索引是分布式存放，但对用户来说是透明的，只需要通过管理服务器进行集中管理，从而大大简化管理难度。

　 高度灵活性，介质服务可在线增加，当系统规模不大时，可以少配置介质服务器，当系统逐步增加时，通过在线增加介质服务器就能扩大系统的处理能力。

　 规模大，一套分布式索引的云备份系统，可备份4千到1万台备份客户端，是集中式索引备份系统的1百倍以上。

　 索引自我管理，索引是重要的备份数据，也必须要进行保护，系统对索引进行自动备份、自动分级存储、自动回调，不仅确保了索引数据的安全，还能保证介质服务器的工作效率。

　 高效容灾，由于备份管理服务器中只存放二级索引，这样对备份管理服务器进行灾难备份就十分方便，通常管理服务器的数据在10GB左右，对管理服务器灾难备份和灾难恢复都十分迅速。

　3.9 其他软件功能介 绍

　1、断点续传功能 Simpana 的备份、恢复、辅助拷贝、合成全备份等一切数据传输的操作都具有检测点，从而能保证操作中断后的重起。这一功能对 WAN 上备份、恢复十分重要，也确保了备份、恢复的成功率。与对手的产品相比，他们只有部分功能有该特性，因此他们的成功率比 Simpana 低。

　 2、权限控制、操作审计、报表管理 CommVault 对于数据运维管理提供了完善的解决方案，通过用户和用户组来控制相应的权限，不同的用户只能有自己的操作权限，配合操作审计功能，能监控整个备份域所有的操作记录。通过中文化的报表和报警等功能实现主动式的运维管理，将问题提前处理，规划提前进行，提高数据管理运维的效率。

　3、数据校验功能 当数据存储到介质后，没有方法可确定那些数据真的能恢复，缺乏立即处理

　恢复的方法。由于这个问题会导致效率差，用于数据保护的费用、时间和资源加倍，也就是说保证可恢复性是必要的。磁带驱动器已经有 CRC 校验来保证数据写入，但它不能保证写入数据是可恢复的，CommVault 的数据校验工具是用来校验备份能否恢复。

　数据校验工具能被设置成在所有备份、所有全备份后运行，或在备份中刚出现或以完成某个数据时开始运行。用了数据校验工具能让你在恢复数据时安心，因为数据在需要时是真的能被恢复。

　4、工作流 工作流是 CommVault 提供自动化流程的工具，能将日常重复且繁琐的工作模板化，定制好计划策略，定期通过 workflow 自动发起，备份管理员只需要去关注作业运行结果，不用陷入日常重复的繁琐工作中。例如定制好自动恢复演练、数据校验、介质翻新等流程，简化日常运维工作量。

　工作流的管理过程如下图所示：

　 工作流的设计过程，是采用图形界面设计，利用 XML 格式进行保存，便于共享及调试。工作流被执行后，就相当于在运行一个进程，按设计的流程来完成多项任务。一下是一个工作流实例，把成功备份的数据恢复指定的服务器。

　工作流管理改变传统管理工作方式，具有如下优势：

　 自动化流程  减少人工错误

　 流程可以重复  整体流程控制  可赋予实施的最佳实践

　第

　4 章

　t CommVault 运维管理

　4.1 t CommVault 运维概述

　 在一个复杂的 IT 环境里面，要轻松管理海量的客户端和数据是一个非常有挑战性的工作，CommVault 的设计理念是为了应对海量数据时代的到来。分布式索引架构、客户端分组、权限管理、操作审计管理、丰富的报表系统、工作流等这些功能可以帮助用户清晰的规划数据的管理，后期便利的运维管理。通过提供自助服务减轻备份管理员的工作量，管理员只需要进行全局的控制和规划，不用陷入繁琐的日常运维的泥潭中。

　4.2 阶段一：备份前预检

　许多发生在数据保护操作中的错误，本来是可以避免的，IT 管理员已经意识到这点。也许是网络管理员没有通知备份管理员最新的网络配置的变化，存储分区配置或有没有足够的备份空间。由于备份都是在晚上进行的，预检操作可以在白天进行，在备份前检查所有需要的网络，备份设备和介质资源，确保晚上备份成功。所以有了预检机制能够预先了解晚上的备份是否能够成功，所需要的资源是否足够（主要是备份介质），这样可以提高备份成功率。预检能够自动生成报告发送至管理员的邮箱。检查内容包括：

　 网络连接是否通畅  数据保护服务是否启动  介质空间（硬盘和磁带）是否足够  硬件设备是否可用  数据索引空间是否足够

　Simpana 系统能定期进行健康检查，并生成健康检查报告。健康报告能显示有关系统整体的健康信息，包括备份操作的状态（SLA），最新安装的软件版本，以及灾难恢复设置，报告有助于识别那些客户和策略需要调整。健康检查报告包

　括以下内容：

　 过去 30 天中备份操作状态（SLA）汇总信息，以及灾难恢复设置。

　 客户端详细信息，包括停用客户端计数，最大客户端，作业出错客户端。

　 作业统计，包括备份和恢复作业，长时间运行的备份作业，过去 10 大作业错误。

　 重复数据删除率和性能，DDB 分区大小，落后的 DASH 拷贝作业。

　 计划策略的现状。

　 统计数据：包括备份数据量，客户端个数，邮箱个数，虚拟机个数，和快照引擎个数。

　 容量信息，磁盘库的可用空间以及已经使用的空间。

　 系统的价值评估和效率评估，如：长时间运行备份作业子客户端的百分比，长时间运行恢复作业的子客户端百分比，使用网络保护和源端去重子客户端百分比。

　4.3 阶段 二 ：

　备份 时 监控

　备份系统的运维管理对灾难备份系统至关重要，没有好的运维管理，将无法确保灾备数据的正确性和完整性，运维管理主要解决下列问题：

　 数据有没有真正备份？  备份成功了吗？  是不是必须得依赖备份管理员才能知道数据的真实情况？  如何快速准备获知备份和恢复的历史信息？  数据增长情况？  未来需要准备多少存储(下个月、下个季度、明年）？  各级分中心数据整体情况如何？  其它问题 如何有效解决以上这些问题呢？最有效的办法就是通过运维报告和告警功能来进行管理，我们的系统提供全方位的运维管理报告，全方位监控和管理系统的运行，主要的报告有下列几类：

　1. 备份系统概览以及健康检查

　轻松查看当前备份系统中各种指标：摘要、指示板、客户端状态、库状态、Media Agent 状态„„ 这么多的机器，每台主机的情况如何？补丁都更新至厂商要求的最新补丁了吗？ 主机之间连接正常吗？能不能在备份前知道各客户端的状态？

　2. 数据保护摘要报告 某个部门内最近有客户端没有备份的吗？ 重要的数据库系统备份作业都制定了计划？ 最近一次全备份是什么时候完成的? 数据量有多大？下一次备份在什么时候？

　3. 数据大小和作业活动图 根据需要，可以基于分中心、应用程序组等查看不同的时间段内情况

　4. 作业成功率查看 根据需要，查看不同时间段作业成功情况。备份管理人的价值如何体现? 软件上有没有预检的功能？配合人员的主动预防，能不能提高备份成功率？

　 5. 数据增长情况分析 最近磁带使用量特别大?

　为什么?

　5 月份每天 Oracle 全备份、增量备份有多大？上个月同期和这个月同期 Oracle 数据增长有异常否？

　6. 数据保护窗口利用报告 备份计划定制的是否合理？哪些作业没有在备份窗口内成？为什么以前备份作业可以在备份窗口内完成，现在为什么完成不了？

　 7. 连续作业 故障报告 为什么每个周三都会出现 Oracle 生产数据库备份失败？有没有潜在的环境影响备份？

　8. 数据恢复成功报告 业务部门投诉说为什么每次都恢复不了数据？有没有可能提高数据恢复的成功率？

　 9. 介质管理介质预测报告 明年的预算中存储应该买多少？带库中还需要加入多少磁带？里面有多少磁带？还可以放入多少磁带？

　10. 系统增长数据报告 在过去一段时间内，某部门增加了多少备份策略？在某个时间段内，作业分布情况如何？

　以上我们摘要运维管理中的一些典型运维报告，通过这些报告，能得到以下好处：

　 数据管理与业务目标的有机统一，利用具体的指标（备份、恢复成功率等）

　轻松管理数据；  数据管理满足业务需求，管理目标就是服务级别，管数据管理上台阶  提高数据管理的效率，有效降低了成本；  提高了业务部门对于数据管理部门的满意度；

　4.4 阶段 三 ：

　备份后 演练

　 CommVault 可以像制定备份策略一样制定恢复策略，从而自动恢复数据，并可将数据恢复到异机上，在即时保证了备份数据可用性的同时，可将恢复到异机上的生产数据用作开发测试等。(其他备份软件需要人工恢复某次备份作业，导致人工干预，造成系统维护复杂度大大增强) 如下图所示：

　备份恢复演练可以帮助用户确保灾难备份系统有效性。通过灾难恢复演练可以实现以下目的：

　 检验灾难恢复计划可以满足客户灾难恢复的要求；  验证灾难恢复系统的高可用性、高可靠性和高响应度；  确认灾难恢复水平满足客户灾难恢复目标的要求；  确认灾难备份系统的处理能力符合客户的要求；  提高恢复团队的恢复技能。

　我们建议至少每季度对重要系统要进行一次恢复演练，具体频率视系统重

　要程度来定。

　为了减轻运维的工作量，我们可以和工作流结合来实现自动化恢复演练；在初始恢复调试成功的情况下，将每个操作步骤通过CommVault的工作流或计划策略定制好定时发起，实现如下自动化流程：

　1、查找最新的数据库备份，恢复数据库到目标机。

　2、查找最新的应用备份数据，恢复数据到应用目标机。

　3、恢复完成之后进行数据验证。

　4、将恢复验证结果邮件通知管理员

　通过上面的自动化流程定期进行恢复演练，管理只需要根据邮件的通知去验证恢复结果即可，既实现了恢复演练对数据的验证，又减轻了备份管理员的日常工作量。

　 4.5 阶段 四 ：灾难 时 应对

　 当灾难发生后，必须启动“灾难恢复预案”，“灾难恢复预案”是一个可操作的具体行动方案和步骤。当项目实施完成后，“灾难恢复预案”作为项目验收文件提供给用户。制定“灾难恢复预案”遵循以下原则：

　1. 迅速通知相关责任人，由主要负责人宣布启动灾难恢复预案 2. 组织技术人员，鉴别灾难的性质：

　a) 硬件系统故障 b) 软件系统故障 c) 数据丢失状况 3. 根据灾难性质，启动不同灾难恢复步骤：

　a) 硬件系统恢复 b) 软件系统恢复 c) 数据恢复 本次项目主要是负责数据灾难恢复，数据恢复的主要步骤如下：

　1. 恢复备份服务器的备份索引库，确保备份服务器能正常工作；

　2. 恢复应用系统中的数据文件； 3. 恢复应用系统中的数据库，并把数据库恢复到指定的时间点； 4. 启动应用系统，检查应用系统是否能正常启动； 5. 利用应用软件，检查业务数据的完整性； 当数据恢复完成，经过应用系统检测，确认没有问题后，由业务部门进一步进行审核，最后在正式上线服务。

　第

　5 章

　t CommVault 服务介绍

　 5.1 产品安装服务

　CommVault 的售后安装提供安装服务，主要包括如下几个主要内容: 项目管理，解决方案的设计，现场的产品安装, 客户验收测试,现场的技术培训 (TOI)，文档资料的提交。

　产品安装

　CommVault 实施人员将根据客户需求在规定的时间内准备软件，为了保证整个安装过程的顺利进行，同时实现“知识转移”，由 CommVault 的项目小组将技术系统和与产品相关的技术知识传授给客户人员的行为，客户的技术人员需要按照双方共同商定的实施项目过程中的时间内与 CommVault 的技术顾问一起工作，以获得这些知识。产品安装完成后，CommVault 将继续提供项目的集中联调，...