警务云计算平台视频资源整合规划方案

　山东省警务云计算平台 视频资源整合方案 （意见修改稿）

　目录目录 .................................................................................................................................................. 2 1 项目背景与必要性分析 ............................................................................................................... 4 1.1 城市安防与云计算 ........................................................................................................... 4 1.2 山东省安防现状分析 ....................................................................................................... 5 1.3 项目必要性 ....................................................................................................................... 5 1.3.1 从信息孤岛到全局统筹的转变 ........................................................................... 6 1.3.2 从人工监控到智能安防的转变 ........................................................................... 6 1.3.3 从事后分析到事中追踪的转变 ........................................................................... 7 1.3.4 从独立应用到综合联动的转变 ........................................................................... 7 2 平台架构设计 ............................................................................................................................... 8 2.1 网络架构 ........................................................................................................................... 8 2.1.1 网络拓扑 ............................................................................................................... 8 2.1.2 社会资源接入的安全机制 ................................................................................. 10 2.2 软件架构 ......................................................................................................................... 12 2.2.1 平台架构图 ......................................................................................................... 12 2.2.2 前端设备 ............................................................................................................. 13 2.2.3 接入服务器 ......................................................................................................... 13 2.2.4 中心服务器 ......................................................................................................... 14 2.2.5 存储服务器集群 ................................................................................................. 14 2.2.6 处理服务器集群 ................................................................................................. 14 2.2.7 流媒体服务器 ..................................................................................................... 15 2.2.8 客户端 ................................................................................................................. 15 2.3 平台联动调度 ................................................................................................................. 15 2.4 平台部署策略 ................................................................................................................. 17 2.4.1 区县未集中处理的视频 ..................................................................................... 17 2.4.2 区县已集中管理的视频 ..................................................................................... 17 2.5 与科达一期平台的关系 ................................................................................................. 18 3 平台模块技术描述 ..................................................................................................................... 19 3.1 IaaS 层 cStor 云存储 .................................................................................................... 19 3.1.1 cStor 云存储系统 .............................................................................................. 19 3.1.2 cStor 系统构架 .................................................................................................. 24 3.1.3 cStor 架构描述 .................................................................................................. 24 3.1.4 cStor 部署示意图 .............................................................................................. 25 3.1.5 cStor 挂载接口 .................................................................................................. 26 3.1.6 cStor 读写数据工作原理 .................................................................................. 26 3.1.7 minicloud 简介 .................................................................................................. 28 3.1.8 minicloud 产品优势 .......................................................................................... 28 3.1.9 minicloud 技术规格 .......................................................................................... 30 3.1.10 cStor 存储性能 ................................................................................................ 30

　 3.2 PaaS 层 cProc 云处理 .................................................................................................... 32 3.2.1 JobKeeper 云调度 .............................................................................................. 32 3.2.2 cProc 数据立方 .................................................................................................. 36 3.2.3 cProc 数据立方关键技术 .................................................................................. 39 3.2.4 cProc 数据立方性能指标 .................................................................................. 43 3.2.5 与同类技术/产品对比分析 ............................................................................... 45 3.3 SaaS 层 cVideo 云视频 .................................................................................................. 48 3.3.1 cVideo 系统逻框图 ............................................................................................ 48 3.3.2 cVideo 子系统描述 ............................................................................................ 50 3.3.3 cVideo 接口描述 ................................................................................................ 67 3.3.4 cVideo 总体性能 ................................................................................................ 69 3.3.5 cVideo 智能识别 ................................................................................................ 71 4 图像资源库 ................................................................................................................................. 74 4.1 图像资源库建设内容 ..................................................................................................... 74 4.2 图像资源库架构 ............................................................................................................. 75 4.3 关键技术 ......................................................................................................................... 76 4.3.1 图像增强技术 ..................................................................................................... 76 4.3.2 目标识别技术 ..................................................................................................... 77 4.3.3 颜色特征提取技术 ............................................................................................. 78 4.3.4 纹理特征提取技术 ............................................................................................. 79 4.3.5 形状特征提取技术 ............................................................................................. 79 4.3.6 大规模图像数据管理技术 ................................................................................. 80 4.3.7 人脸识别技术 ..................................................................................................... 81 4.4 图像数据库优势分析 ..................................................................................................... 83 4.4.1 图像优化可用性高 ............................................................................................. 83 4.4.2 特征提取方便检阅 ............................................................................................. 83 4.4.3 办案视频同步上传 ............................................................................................. 83 4.4.4 高速索引秒级处理 ............................................................................................. 83 4.5 案件审讯库 ..................................................................................................................... 84 5 应用实例...................................................................................................................................... 85 5.1 道路状况检测 ................................................................................................................. 85 5.2 车辆轨迹跟踪 ................................................................................................................. 87 5.3 GIS 联动 .......................................................................................................................... 89 5.4 重点区域智能监控 ......................................................................................................... 89 5.5 套牌车检索 ..................................................................................................................... 91 5.6 移动终端监控 ................................................................................................................. 92 6 联系方式....................................................................................................... 错误! 未定义书签。

　 1 项目背景与必要性分析

　1 1 .1

　城市安防与云计算

　城市公共场所往往有成千上万路监控摄像头遍布街头，昼夜不停地监视和录像，在改善社会治安的同时，也产生出海量的视频数据需要监控管理平台存储和处理。要对这些海量视频通过人工进行重点图像的抓拍，困难很大。

　首先，需要对所有的视频录像进行逐帧浏览，才能发现重点图像，这无疑工作量巨大，甚至犹如大海捞针。其次，即使找到了重点图像，人工抓拍，并且要记录下对应的原始视频图像的时间点等，也是工作量很大，效率很低。由于人的生理特征所限，长时间观看视频录像，容易产生视觉疲劳，还有可能漏掉重要图像和线索。

　理想情况是一旦有重要事件发生，系统就可在事后能快速查找到线索。针对上述海量监控视频录像的事后分析，传统以人海战术为主的视频线索查找，显然不能满足高效查找，正面临巨大挑战，急需一种更为高效的、自动的、智能的系统实现上述需求。目前，基于云计算的大规模数据存储和处理技术以及视频图像智能处理分析技术可以解决这一问题。通过视频浓缩摘要，缩短视频事件的播放时间，通过目标内容识别、分类等实现快速查找事件线索，缩小查看范围的功能，这些都极大地减轻警方刑侦人员的工作负荷，海量视频分析功能的实现和应用将大大提高监控效率。

　国内外很多公司以及机构都在这一领域投入了大量的研究，将云计算，智能识别等技术联系在一起，更好的为安防服务。充分利用云计算的海量数据计算能力和智能的处理能力，不仅能大大缩小了对于各类事件的事后取证所需要的时间，提高了取证效率，而且对于各种突发事件的预防、响应都起到了积极有效的作用。

　 1 1. . 2 山东省安防现状分析

　山东省公安厅贯彻执行“平安城市”方针，目前全省已先后建立了 110 余万台监控摄像机，为全省人民的安全提供着保障，但同时，如此庞大且分散的监控体系也带来了巨大的挑战。矛盾主要集中在：

　 海量视频需要存储，但现有存储空间严重不足；  视频码率清晰度不断提升，但传输网络带宽资源不足；  小块区域集中管理，但跨区域调用视频困难；  监控还未达到智能化程度，时效性不强，多用于事后回调； 在之前的建设与管理中，省厅已打造了一个视频资源共享平台，实现了将 8万路视频资源的整合和统一管理，取得了很大的成功。但与全省 110 万的总量相比，仍有许多工作要做，并且还需要进一步将社会上的视频资源也纳入到整个监控体系中来。本次项目计划为二期方案，在一期已有工程的基础上，接入剩下的20 万路公安网视频，同时，也为今后将全省其他社会资源上的摄像头进行规划和考虑。

　1.3 项目必要性

　公共区域视频监控系统的建设是平安城市建设必不可少的重要组成部分，其视频监控资源的整合、优化以及利用程度是城市信息化程度的重要标志之一，大部分的公共区域中已建成大量、属于各个部门、基于不同制式标准、不同设备、不同平台的视频监控系统，但目前这些资源并没有得到有效整合，无法跨平台、跨部门进行集中优化处理，这就造成了城市现有视频资源利用率低、重复建设、缺乏统一调度等不良现象，本项目基于这个现状旨在建设一个统一的、城市级的视频监控平台，将城市现有的视频监控资源有效整合起来，并在此基础上针对各类城市管理中的应用需求，实现高效实用的业务应用。通过构建 cVideo 综合视频监控云平台（以下简称“平台”），将城市可利用的全部视频资源经过优化、整合及智能处理后，透明地呈现给使用者，为城市管理提供有力支撑。

　“平台”在现有信息化建设基础上，集成现有视频监控资源，建设大规模视

　 频实时接入处理分析监控平台，实现与现有平台，网络摄像机、以及新建监控设备的对接，实现上万路的视频接入。对上述视频监控平台的视频接入后，要求实现转码处理、智能识别、解码上墙和数据存储回看等功能，以满足不同终端的访问需求、实现车流统计等交通数据的提取、对关键数据进行存储、以及实现大屏控制等功能。实现从传统的模式向云模式的转换，并可以带来巨大的获益。

　1.3 .1

　从信息孤岛到全局统筹的转变

　针对山东省现在已有的图像平台，需要对省市两级主要平台完成升级改造，确保实现公安视频图像信息共享平台之间的联网互通，同时兼容各地承建的视频监控系统和平台，以提升整个山东省公安图像信息的共享度。“平台”将散落在各个派出所或者小区域中的“信息孤岛”相互连接，构成由省厅统一管理的四级大平台，使视频数据能够互通共享，并以此为基础构建丰富多彩的上层应用。

　1.3. .2 2

　从人工监控到智能安防的转变

　在实现互联之后，我们仍会发现新的问题。目前，成千上万路监控摄像头遍布街头，昼夜不停地监视和录像，在改善社会治安的同时，也产生出海量的视频数据需要监控管理平台处理。要对这些海量视频通过人工进行重点图像的抓拍，困难很大。

　首先，需要对所有的视频录像进行诸秒浏览，才能发现重点图像，这无疑工作量巨大，甚至犹如大海捞针。其次，即使找到了重点图像，人工抓拍，并且要记录下对应的原始视频图像的时间点等，也是工作量很大，效率很低。由于人的生理特征所限，长时间观看视频录像，容易产生视觉疲劳，还有可能漏掉重要图像和线索。因此，用机器代替人工（机器结合人工），是必然的趋势，通过智能地图像识别算法，将“可疑”的视频筛选出来，如此一来可以大幅降低人为的干预度，提升监管效率。

　 1.3. .3 3

　从事后分析到事中追踪的转变

　一般针对事件可以分为事前预防、事中跟踪和事后取证。理想的情况是：一旦有重要事件发生，系统就可在很短时间内查找到线索并定位，而目前海量监控视频大多以录像的形式用于事后调取和回看，并且主要以传统人海战术的视频线索查找，显然不能满足高效查找，正面临巨大挑战，急需一种更为高效的、自动的、智能的系统实现上述需求。目前，基于云计算的大规模数据存储和处理技术以及视频图像智能处理分析技术可以解决这一问题。通过视频浓缩摘要，缩短视频事件的播放时间，通过目标内容识别、分类等实现快速查找事件线索，缩小查看范围的功能，这些都极大地减轻警方刑侦人员的工作负荷，海量视频分析功能的实现和应用将大大提高监控效率。

　国内外很多公司以及机构都在这一领域投入了大量的研究，将云计算，智能识别等技术联系在一起，更好的为安防服务。通过对云计算的海量数据计算能力的充分利用，提供智能识别所需的处理能力。这样不仅能大大缩小了对于各类事件的事后取证所需要的时间，提高了取证效率，而且对于各种突发事件的预防、响应都起到了积极有效的作用。

　1.3. .4 4

　从独立应用到综合联动的转变

　在现有的条件下，视频监控大多数时间是以一个单独的应用呈现，或是通过大屏进行实时监控，也可能是通过电脑终端进行监控管理。然而随着信息化程度的不断提升，单一的监控已然无法满足用户的需求，具有联动功能的综合型平台愈发成为转变的方向。

　因此，需要实现将警务综合平台与视频结合应用相互结合，整合成一共公共的基础平台，以更好地提供各类上层应用系统的使用。同时，从视频、声音、图像到信息提取、资料汇聚再到上层应用，无一不有大数据穿插其中，如何应对如此海量的信息和数据，如何将这些数据变成可以有效利用的宝贵资源也成为了日渐热议的话题。

　 2 平台架构设计

　根据省厅已有建设情况和对实际需求的深入分析，本方案利用 cStor 云存储和 JobKeeper 云调度技术构建统一的 cVideo 云视频监控管理平台软件，部署在标准 X86 服务器集群上，通过对已有监控资源的整合，实现海量高清视频监控的数据存储和智能处理。

　2 2. .1 1

　网络架构

　2. 1.1 网络拓扑

　针对山东省的实际情况，多级 cVideo 云视频监控系统采用分布式架构，分级管理和部署。以街道派出所为单位，初期拟定每个所部署一台“minicloud”（“minicloud”迷你云微型数据仓库将在下面的章节中进行详细描述），用于视频数据的保存，从区级到市级再到省级分别部署 cVideo 系统，cVideo 系统的架构会在 2.2 中进行具体描述。。

　整个“平台”构建于公安网之上，其中，省级中心处于核心地位，部署元数据服务器，用以统一管理元数据信息，各派出所则使用“minicloud”中的三个互为冗余的节点担当存储节点的角色。“平台”遵循“就近接入、本地存储、中心统筹、权限管理”的方针，随着存储容量需求的增加，只需在容量不足的派出所增加存储节点（服务器）即可，十分方便。而区县级和市级主要负责对区域视频的汇聚和处理，部署 cVideo 系统，并将处理后得到的信息提供给各上层应用服务。

　cVideo 云视频监控平台针对省级的建设方案采用多级部署的方式，大致拓扑如下图所示：

　 图 2-1 cVideo 多级部署概要图 初步预计每个派出所需要存储的监控摄像机按 100 路左右，平均码流按2Mbps 计算，则存放半个月需要的存储容量约为：

　2 / 8 * 3600 * 24 * 15 *100 = 32.4TB “minicloud”是由三台服务器所组成的小型云平台，能够存储的总容量为：

　9 * 3 * 3 = 81TB 为了保证数据的可靠性，对数据进行 1：1 备份后，可用容量为：40.5TB，可以满足初期的需求。随着使用和前端设备的增设，容量需求会愈发增加，这时我们同样提供了机架式的扩展方案，当存储容量不足时，只需在“minicloud”下新增存储节点（服务器），系统容量会自动增加，实现扩容十分方便。

　前端监控设备所采集到的视频数据保存在所属的“minicloud”中，或经过接

　 入服务器，接入所属区级的 cVideo 监控平台中进行管理和处理，各级客户端访问相应中心服务器，按需操作和调控。云处理服务器提供空前的数据处理能力，提供诸如视频转码、内容识别等海量数据的处理支持。查看历史视频时，接入云存储遵守分区接入、分局接入和就近接入原则，考虑到突发事件会致使查看视频记录的人员增多，分布式部署可以很好地缓解接入压力。

　2. 1.2 2

　社会资源接入的安全机制

　考虑到今后肯定要逐步将全省 110 万路摄像机都接入到“平台”进行统一的调度管理，这就必须要考虑公安网和社会公网之间安全性和保密性的问题，cVideo 监控平台在实际布设过程中，建议遵循跨网络必须经过网闸和缓冲资源池的规则，示意图如下：

　图 2-2 cVideo 网络隔离概要图 本次建设的“平台”将作为二期平台，构建于公安网之上，在与一期平台平稳过度对接的同时，确保高度的安全性及视频的实时性。

　对于今后社会资源公网中的监控前端设备，纳入“平台”管理，需要考虑到安全因素和流量等多方面的问题，不建议通过网闸直接将社会资源接入公安网，最主要的原因有两个：一是只经过了一层网闸，虽然在一定程度上保证了安全性，但是级别不是很充分；二是社会资源摄像头的数量惊人，而网闸在保证安全性的同时却牺牲了性能，通过网闸的带宽受到了严重限制，无法实现利用网闸将社会资源全部纳入公安网中。因此，我们提出了缓冲资源池的建议，对安全性和传输带宽进行了双重保障，其大致架构如下图所示：

　图 2-3 社会资源接入建议架构图 假设途中 192.168.x.x 网段为社会资源网，10.x.x.x 网段为公安网，在中间加入缓冲资源池（172.x.x.x 网段），该部分可租用电信运营商的机房和带宽，作为过渡层，一方面对社会资源进行收集汇总、存储分析，另一方面利用软件防火墙和运营商的安全机制进行了第一次的安全保障。之后再通过交换机和网闸转接如公安网，期间网闸提供了第二次安全保障。其次，对于公安网用户来说，社会资源的接入完全是按需的，只有当有需求时，才会通过网闸将社会资源中的实时视频流或者历史存储资料调取到公安网中，而在绝大多数情况下，数据仅仅是停留在了缓冲资源池中，不会对网闸造成很大的压力。

　但另一方面，一旦进行了网闸设置，势必会对带宽有所限制，因此为了保证网络互联互通的同时，保证系统的安全性需对视频数据进行云转码传输。由于视频转码计算量很大，单一的计算机不可能实现整个监控系统内的摄像头实时视频数据的转码。cVideo 研发了云端转码技术，将视频转码计算放到云端（即缓冲资源池），实现整个系统内的实时视频转码，以满足用户对不同分辨率，不同码流，不同终端的使用需求。

　 图 2-4 转码前后视频对比 视频接入模块首先将不同厂家的前端设备接入进来，对于支持 RTSP 的采集设备，我们利用标准的流媒体协议接口实现视频和音频数据的传输。对于不支持RTSP 的采集设备，我们利用设备厂商提供的 SDK 进行接入。然后在 cProc 云计算平台上利用高效的转码技术，将采集到的高清视频信号解码后再重新编码，在满足用户需求的同时降低对网络带宽的消耗。同时将转码后的视频流推送给流媒体服务器分发出去。

　图 2-5 云转码流程 2 2. . 2 软件架构

　2.2.1 平台架构图

　如下图所示，cVideo 云视频监控平台是部署于标准 X86 服务器上的软件平台，主要由七个子系统组成：前端设备、接入系统、处理系统、存储系统、流媒体服务器、中心调度系统和客户端。这七个模块既相互独立，又协调统一，共同对外提供服务。

　图 2-6 cVideo 平台模块架构图 2.2.2 前端设备

　前端设备在中心服务器的调度下进行信息采集，以 RTSP 的形式传输给存储/处理服务器集群，或者以 SDK 的形式传输给接入服务器。(前端设备包括：模拟摄像机、网络摄像机、卡口设备、第三方平台等) 2.2.3 接入服务器

　整合各种前端设备，将不同厂家不同平台的前端设备通过 RTSP 标准流媒体协议或者 SDK 私有协议的方式接入本系统，以实现对多种前端摄像机和已有平台的统一接入，供本平台内其他模块统一调用，并以轮询的方式监听前端设备，如有异常则产生报警信号。

　 2.2.4 中心服务器

　平台的核心控制部分，实现了与客户端的信令交互、通过 JobKeeper 云调度系统来调度云集群节点处理各项任务、并实现对整个平台的统一管理和监控。

　a）

　）用户管理功能：根据用户信息表，管理用户登录、用户的权限，可以管理用户信息、增删用户等。

　b）

　）前端信息采集设备管理功能：根据摄像机和用户的权限，管理当前用户所能涉及的前端设备状态、节点运行状态，并进行实时的更新。

　c）

　）与用户和前端设备的信息交互功能：更新前端信息，并根据客户需求进行对前端设备调度，以及对 JobKeeper 的任务分发。同时，进行信息数据的处理，以完成整个平台的调度工作。

　d）

　）对服务器集群进行统一的调度管理，获取每台机器的运行状态。根据机器的运行状态进行自动调度和部署，负载均衡，提高机器的使用率，进而提高服务器的梳理效率。

　e）

　）解决服务器集群信息处理的冗余状态，查错排错，保证系统的无人值守、自动生长的高效性。

　2.2.5 存储服务器集群

　使用 cStor 云存储系统，提供统一的存储资源池，用以存储关键数据，提供历史视频的回看以及相关数据的下载服务。同时，支持网络挂载盘符的模式，以满足整个平台中其他模块的存储需求。

　2.2.6 处理服务器集群

　大致可以分为接入分析、数据处理和结果分发三个子模块，主要负责对完成对接入视频的各项处理任务，诸如：内容识别、实时转码、录像存储等，再将处理好的结果发送至流媒体服务器和存储服务器。

　 2.2.7 流媒体服务器

　以流媒体服务器的形式对外提供标准的 RTSP 流媒体服务，用户根据相应的流媒体 RTSP 地址，即可实时地获取系统处理完后的实时视频数据，以供监控和远程访问。采用虚拟 IP 技术，备份冗余机制，针对公网和内网不同的访问需求提供不同的码流推送。

　2.2.8 客户端

　支持 Windows、Linux、iOS、Android 等主流操作系统，提供 B/S 和 C/S 架构客户端，控制视频解码上墙等，实现与用户的直接交互。

　2. 3 平台联动调度

　按 2.2 节中所说的架构，在实际应用中，经常会出现跨级的联动调度问题，下图展示了 cVideo 云视频监控平台多级联动调度的流程。

　 上级中心总平台的接入服务器和下级子平台的中心服务器信令交互，上级平台的接入服务器相当于下级平台的一个超级管理员用户。总平台通过接入服务器登陆到子平台，从而进行获取设备列表、获取设备信息、云台控制、获取流地址等操作。

　 上下级平台的设备管理、用户管理、日志管理等功能相互独立，下级平台和第三方平台对“平台”的用户不可见，用户可以透明地访问各平台的前端监控设备资源（可以知道设备是属于哪个平台、哪个部门的，但不能直接登陆到下级平台或第三方平台）。在“平台”用户视角，相当于所有下级平台和第三方平台的设备都是直接部署在此综合的云平台之上。

　图 2-7 多级部署上级视频数据流对接 如上图所示，如果是上级中心总平台用户想查看某前端摄像机的实时视频，那么，该用户首先通过客户端或浏览器登陆平台，随后发出对某路视频的监控请求，中心调度系统会根据数据库里的摄像机设备信息将任务经由接入服务器发送给政务专网的中心调度系统，由其调度相应接入、处理服务器进行进入和转发处理。该视频流经过子平台流媒体服务器转发至总平台，客户端得到该地址即可播放出实时视频流。

　如果此时子平台的用户也想监控上述该路的实时视频，在请求该路监控时，子平台的中心服务器会自动发现该监控任务已由总平台用户发起过，只要经过总平台中心控制的许可，便可立即将流媒体服务器推送地址反馈给客户端，子平台用户的客户端则直接可以播放出该路实时视频流。如下图所示：

　图 2-8 多级部署下级视频数据流对接 2. 4 平台部署策略

　针对山东省的实际情况，在之前的规划和管理过程中，部分区域已经实现了按区县为单位对现有视频做了集中管理和存储，而另一些则是完完全全的“信息孤岛”状态。在“平台”的实施部署过程中，需要充分考虑到这些因素，以“不重建、多复用”为主旨，充分利用已有的平台和系统，实现对异构的监控体系的统一管理。

　2.4.1 区县未集中处理的视频

　对于区县没有集中处理的视频，“平台”会按照 2.1 章节中的部署规则，给每个派出所部署一套 minicloud，用其本地化保存视频数据，并接受省厅中心的直接管理，同时提供给上层应用和服务的支撑。

　2.4.2 区县已集中管理的视频

　对于区县已经集中管理过的视频，“平台”则不会对该区域及其下属派出所

　 新建设备，而是与该系统交互，通过其 SDK 进行对接和信息交互，获取需要的管理信息及视频流。从用户的角度而言，呈现在面前的只是单纯的一个个独立的摄像机，用户不必关心前端的摄像机具体是从我们部署的 minicloud 中传输过来的，亦或是从已有区县系统中传输过来的，“平台”已经将中间过程透明化，以更贴近用户的使用习惯。

　2. 5 与科达一期平台的关系

　根据架构的描述，可以看出，对于本“平台”，科达承建的一期平台相当于一个子平台，本“平台”通过接入服务器与其通信对接，通过其提供的 SDK 或平台对接方式进行取流和控制的交互。因为与柯达平台均属于公安网，因此不需要考虑跨网段的问题。

　 3 3

　平台模块技术描述

　方案采用信令流和数据流分离的方式，在标准 X86(X64)服务器集群上部署存储、处理、调度等软件系统，形成一个整体的云视频监控解决方案，实现对现有视频监控资源的整合。采用云调度和云存储技术，有较高的扩展性和容错能力，解决服务器单点故障问题，降低升级和维护成本。

　S 3.1 IaaS 层 层 r cStor 云存储

　3.1.1

　r cStor 云存储系统

　3.1.1.1

　r cStor 简介

　cStor 云存储系统是 9 年来不断积累研发的高科技产品，是国内最早实现并保持领先的云存储系统，整套系统包括软件与硬件，是一个海量的云存储平台。与传统的大规模存储系统相比，它具有构建成本低、性能高效可靠、使用简单方便的特点。在需要存储大量数据（如视频数据、业务数据等）的应用场合，可以大幅提高存储系统性价比。与目前国际上知名的云存储厂商相比，具有更高的性价比、更低的能耗、更加通用和更方便的使用模式。

　 图 3-1 cStor 云存储系统 3.1.1.2

　r cStor 主要优势

　 高可靠性 系统中采用廉价的大容量存储服务节点，通过 cStor 系统软件实现统一管理和容错，提供高效、稳定服务。与使用专用服务器相比，可以将系统构建成本节省 5-10 倍以上，且规模越大，优势越明显。在降低系统的构建成本的同时，系统的可靠性不仅没有收到影响，相反，通过一系列的可靠性保障机制，使得 cStor系统具有高可靠性的特性。

　 在 cStor 云存储系统中，数据具有多个副本（默认情况下是 2 份，可以根据需要设置），任意节点出现故障，系统将会自动复制数据副本到新的节点上，不会丢失数据。这样，在节点发生故障的情况下，也可以实现数据的无间断服务。

　同时，元数据管理节点采用双机镜像模式容错，如果有一节点出现故障，另一节点自动接替。

　 高性能 cStor 采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写；这样随着存储节点数目的增多，整个系统的吞吐量和 IO性能将呈线性增长。

　同时，cStor 采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高。

　 在线伸缩 cStor 云存储系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。

　 通用易用 cStor 云存储系统提供标准 POSIX 接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。如：同时，cStor 也提供专用的 API 接口，供开发人员调用。

　 智能管理 提供基于 WEB 的管理平台，所有的管理工作均由 cStor 管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对cStor 中的所有节点实行无间断监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况。

　r 3.1.1.3 cStor 关键技术

　 负载自动均衡技术 cStor 采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存

　 在 Master Server 上，文件则划分为多个 chunk 存储在不同的 Chunk Server 上。

　Master Server 维护了一个统一的命名空间，同时掌握整个系统内 Chunk Server 的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据 Chunk Server 的磁盘使用情况、网络负担等情况，选择负担最轻的 Chunk Server 对外提供服务，自动均衡负载负担。

　另外，当某有一个 Chunk Server 因为机器故障或者其他原因造成离线时，Master Server会将此机器自动屏蔽掉，不再将此Chunk Server提供给客户端使用，同时存储在此 Chunk Server 上的数据也会自动的备份到其他可用的 Chunk Server上，自动屏蔽 Chunk Server 故障对系统的影响。

　 高速并发访问技术 客户端在访问 cStor 时，首先访问 Master Server 节点，获取将要与之进行交互的 Chunk Server 信息，然后直接访问这些 Chunk Server 完成数据存取。cStor的这种设计方法实现了控制流和数据流的分离。

　Client 与 Master Server 之间只有控制流，而无数据流，这样就极大地降低了Master Server 的负载，使之不成为系统性能的一个瓶颈。Client 与 Chunk Server之间直接传输数据流，同时由于文件被分成多个 chunk 进行分布式存储，Client可以同时访问多个 Chunk Server，从而使得整个系统的 I/O 高度并行，系统整体性能得到提高。

　通常情况下，系统的整体吞吐率与 Chunk Server 的数量呈正比。

　 高可靠性保证技术 对于元数据，cStor 通过操作日志来提供容错功能，当 Master Server 发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。为了防止 Master Server 彻底死机的情况，cStor 还提供了 Master Server 远程的实时备份，这样在当前的 Master Server 出现故障无法工作的时候，另外一台备 Master Server 可以迅速接替其工作。

　对于 Chunk Server，cStor 采用副本的方式实现容错。每一个 chunk 有多个存储副本（默认为两个），分布存储在不同的 Chunk Server 上。副本的分布策略考虑了多种因素，如网络的拓扑、机架的分布、磁盘的利用率等。对于每一个 Chunk Server，必须将所有的副本全部写入成功，才视为成功写入。在其后的过程中，

　 如果相关的副本出现丢失或不可恢复等状况，Master Server 会自动将该副本复制到其他 Chunk Server，从而确保副本保持一定的个数。在有多个 Chunk Server 的情况下，任意损失一个节点，数据都不会丢失，而且随着 Chunk Server 数目的增多，整个系统的可靠性越大。

　同时，系统除了支持传统的 1：1、1：2 的冗余备份技术外，也支持高效的N：N+M 的编码容错技术，即：假设将原始文件切分为 N 个数据块，通过冗余编码技术，将其编码后增加了 M 个数据块，数据总量变成了 N+M 个数据块。从中任意取出 N 个数据块即可将文件还原，进一步提升了空间利用率，确保数据安全可靠。

　 高可用技术 系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点，存储节点和元数据节点间通过注册管理机制自适应管理，实现自动伸缩。

　元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存储节点采用冗余备份机制，多个存储节点情况下，任意损失一个节点，数据不丢失，系统不停机，FTP 等上层服务不停止。

　 3.1.2

　r cStor 系统构架

　 图 3-2 cStor 云存储系统架构 如上图所示，cStor 云存储文件系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括元数据管理服务器（Master Server）和数据存储节点服务器（Chunk Server）以及客户端节点的结构构成一个虚拟的海量存储卷。

　3.1.3

　r cStor 架构描述

　Master Server 保存系统的元数据，负责对整个文件系统的管理，Master Server在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；Chunk Server 负责具体的数据存储工作，数据以文件的形式存储在 Chunk Server 上，Chunk Server 的个数可以有多个，它的数目直接决定了 cStor 云存储系统的规模；客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端都部署在 Chunk Server 上，每一个块数据服务器，及时存储服务器也是客户端服务器。对每一个节点，cStor 云存储系统提供的管理监控中心都可以对其进行管理，

　 包括设备运行状态、磁盘运行状态、服务在线情况以及异常告警等功能；另外，网管监控中心还提供有如 FTP、CIFS、NFS 账户添加等客户端管理和配置工具。

　这种分布式系统最大的好处是有利于存储系统的扩展和实现，在小规模的数据扩展时，只需要添加具体的 Chunk Server 即可，而不需要添加整套设备。

　3.1.4

　r cStor 部署示意图

　cStor 云存储系统所有的节点均通过网络的方式连接起来，其中存储节点采用廉价的计算机节点，运用自适应副本管理技术进行容错。所有存储节点同时担任对外服务功能，客户端分别挂载到不同存储节点访问云存储系统。通过增加或者减少存储节点的方式，即可以对存储系统进行在线伸缩，由于采用了自适应副本管理技术进行容错，系统在线伸缩的过程中，不影响系统对外提供服务。

　应用服务层数据存储层用户层存储节点/ / 服务节点

　n n存储节点/ / 服务节点

　1 1 存储节点/ / 服务节点

　2 2存储节点/ / 服务节点

　3 3„2 U主元数据服务器2 U备元数据服务器应用服务器 其他服务器 文件服务器 WEB服务器业务网络交换机存储网络交换机

　图 3-3 cStor 云存储部署示意图

　 3.1.5

　r cStor 挂载接口

　对于 cStor 云存储的用户来说，通过 cStor 客户端可以将海量云存储系统映射成一个本地海量磁盘（Windows 客户端）或者映射到一个目录（Unix、Linux、MacOS、FreeBSD 等客户端），对于此磁盘或者目录的读写操作，即可实现云存储系统数据的读写。并且，cStor 支持 NFS、CIFS、FTP 等协议的访问接口。同时，由于 cStor 文件系统支持 POSIX 接口规范，对于目前一般的应用不需要做二次开发即可使用。

　3.1.6

　r cStor 读写数据工作原理

　元数据服务器 元数据服务器客户端存储服务器 存储服务器 存储服务器1.数据往哪里写？存储服务器2a.在X存储服务器创建一个新的数据块2b.创建成功4.数据写到X存储服务器5.写数据请求6a.本地写并备份一份副本6b.成功7.写数据成功3.记录元数据并同步到备份元数据服务器数据流控制流图 3-4 cStor 客户端写数据流程

　其详细过程是：

　cStor 客户端向元数据服务器发起数据写请求； 元数据服务器根据其管理的存储节点的工作和使用情况，根据负载均衡的原

　 理，在相关存储节点上创建一些新的数据块； 相关存储节点服务器创建成功，将结果返回给元数据服务器； 元数据服务器一方面备份和同步此元数据信息，另一方面将相关存储节点信息返回给客户端； 客户端根据得到的存储节点信息，向对应存储节点发出数据写请求，并向存储节点发送数据； 存储节点接收数据并存储到相应块，同时也向其他存储节点发起备份； 当本地写以及备份均成功后，存储节点将成功信息返回给客户端； 客户端收到成功信号后，即完成数据的存储。

　下图为 cStor 客户端读数据流程图如下所示：

　元数据服务器 元数据服务器客户端存储服务器 存储服务器 存储服务器 存储服务器2.数据在X存储服务器3.读数据请求4.返回数据内容1.数据在哪里？数据流控制流图 3-5 cStor 客户端读数据流程 总的来说，cStor 云存储系统的控制流和数据流是分离的，一方面降低了元数据服务的负担，使得其处理能力更强，另一方面将数据读写的负担分担到各存储节点，使得系统的整体性能得到了提高，与节点数目成正相关。

　 3. 1.7 7

　d minicloud 简介

　云计算的飞速发展，使云存储领域涉及的范围越来越广，随着企业办公人员对数据存储安全性和可靠性的要求越来越高，使用传统的存储模式，如移动硬盘、U 盘、刻录光盘等方式，都存在着使用不方便、管理麻烦等诸多问题，特别软硬件故障可能导致本地存储信息的大量丢失或损坏。因此如何安全可靠的存储企业运营数据，成为了现在企业办公的重中之重。

　因此，云创存储推出 minicloud微型云计算数据中心，用最少的成本为企业部署云存储以及企业办公应用软件，为办公室配置一朵迷你的云，满足企业的办公需求，大幅度降低了企业 IT 建设的门槛与风险。

　图 3-6 minicloud 外观图 3. 1.8 8

　d minicloud 产品优势

　 超安全的私有云计算数据中心

　minicloud 采用可靠的分布式云存储,最大支撑三个 27TB 的存储节点,采用1:1 容错保证企业数据安全可靠,minicloud 可作为企业的数据中心,为企业的各种重要数据提供安全可靠的存储,重要数据包括企业...