智慧银行大数据治理平台解决方案

　V3.0 智慧银行大数据治理平台解决方案

　 数据治理总体

　解决方案

　V3.0 智慧银行大数据治理平台解决方案

　目 录 一 数据管理的现状 ............................................... 1 二 数据治理的概述 .............................................. 16

　（一）

　数据治理概念 ...................................................................................... 1 6

　（二）

　数据治理目标 ......................................................................................

　1 7

　三 数据治理体系 ............................................... 17 四 数据治理核心领域 ............................................ 18 （一）

　数据模型 ............................................................................................ 1 8 （二）

　数据生命周期 ...................................................................................... 1 8 （三）

　数据标准 ............................................................................................ 2 0 （四）

　主数据 ................................................................................................ 2 2 （五）

　数据质量 ............................................................................................ 2 3 （六）

　数据服务 ............................................................................................ 2 5 （七）

　数据安全 ............................................................................................ 2 5 五 数据治理保障机制 ............................................ 26 （一）

　制度章程 ............................................................................................ 2 6 (1) 规章制度 ............................................................................................ 2 6 (2) 管控办法 ............................................................................................ 2 7 (3) 考核机制 ............................................................................................ 2 7 （二）

　数据治理组织 ...................................................................................... 2 8

　V3.0 智慧银行大数据治理平台解决方案

　 (1) 组织架构 ............................................................................................ 2 8

　(2) 组织层次 ............................................................................................

　2 9

　(3) 组织职责 ............................................................................................

　3 0

　（三）

　流程管理 ............................................................................................

　3 2

　（四）

　IT 技术应用 . ........................................................................................

　3 3

　(1) 支撑平台 ............................................................................................

　3 3

　(2)

　附件 A 技术规范 ............................................................................................ 数据管理规范 ........................................... 37

　3 5

　附件 B 数据质量评估办法 ......................................... 55 附件 C 数据质量管理流程 ......................................... 59

　V3.0 智慧银行大数据治理平台解决方案 第 1 页

　根据行业信息化发展的现状，结合当今行业数据治理的要求， 大型集团或政务管理部门现阶段数据管理方面存在以下的不足：

　（1）

　）

　数据多头管理，缺少专门对数据管理进行监督和控制的组织。信息系统的建设和管理职能分散在各部门，致使数据管理的职责分散，权责不明确。组织机构各部门关注数据的角度不一样，缺少一个组织从全局的视角对数据进行管理，导致无法建立统一的数据管理规程、标准等，相应的数据管理监督措施无法得到落实。组织机构的数据考核体系也尚未建立，无法保障数据管理标准和规程的有效执行。

　（2）

　）

　多系统分散建设，没有规范统一的省级数据标准和数据模型。组织机构为应对迅速变化的市场和社会需求，逐步建立了各自的信息系统，各部门站在各自的立场生产、使用和管理数据，使得数据分散在不同的部门和信息系统中，缺乏统一的数据规划、可信的数据来源和数据标准，导致数据不规范、不一致、冗余、无法共享等问题出现，组织机构各部门对数据的理解难以应用一致的语言来描述，导致理解不一致。

　（3）

　）

　缺少统一的主数据，组织机构核心系统间的人员等主要 关于数据治理的理解 数据管理的现状

　V3.0 智慧银行大数据治理平台解决方案 第 2 页

　 信息并不是存储在一个独立的系统中，或者不是通过统一的业务管理流程在系统间维护。缺乏对集团公司或政务单位主数据的管理， 就无法保障主数据在整个业务范围内保持一致、完整和可控，导致业务数据正确性无法得到保障。

　（4）

　）

　缺乏统一的集团型数据质量管理流程体系。当前现状中数据质量管理主要由各组织部门分头进行；跨局跨部门的数据质量沟通机制不完善；缺乏清晰的跨局跨部门的数据质量管控规范与标 准，数据分析随机性强， 存在业务需求不清的现象， 影响数据质量； 数据的自动采集尚未全面实现，处理过程存在人为干预问题，很多 部门存在数据质量管理人员不足、知识与经验不够、监管方式不全面等问题；缺乏完善的数据质量管控流程和系统支撑能力。

　（5）

　）

　数据全生命周期管理不完整。目前，大型集团或政务单位，数据的产生、使用、维护、备份到过时被销毁的数据生命周期管理规范和流程还不完善，不能确定过期和无效数据的识别条件，且非结构化数据未纳入数据生命周期的管理范畴；无信息化工具支撑数据生命周期状态的查询，未有效利用元数据管理。

　数据治理不仅需要完善的保障机制，还需要理解具体的治理内容，比如我们的数据该怎么进行规范，元数据又该怎么来管理，每个过程需要哪些系统或者工具来进行配合呢？这些问题都是数据治

　V3.0 智慧银行大数据治理平台解决方案 第 3 页

　 理过程中最实际的问题，也是最复杂的问题，从数据治理的各个核

　V3.0 智慧银行大数据治理平台解决方案 第 4 页

　 银行数据治理核心领域

　每个数据治理的领域都可作为一个独立方向进行研究治理，目 前总结的数据治理领域包括但不限于一下内容：

　数据标准、元数据、数据模型、数据分布、数据存储、数据交换、数据生命周期管理、 数据质量、数据安全以及数据共享服务。

　同时各领域之间需要有机结合，如数据标准、元数据、数据质量等几个领域相互协同和依赖。通过数据标准的管理，可以提升数据合法性、合规性，进一步提升数据质量，减少数据生产问题；在元数据管理的基础上，可进行数据生命周期管理，有效控制在线数据规模，提高生产数据访问效率，减少系统资源浪费；通过元数据 心领域来解答这些问题。

　V3.0 智慧银行大数据治理平台解决方案 第 5 页

　 数据治理领域是随着银行业务发展而不断变化的，领域之间的关系也需要不断深入挖掘和分布，最终形成一个相互协同与验证的领域网，全方位的提升数据治理成效。

　数据治理核心领域 1. 数据模型 数据模型是数据治理中的重要部分，合适、合理、合规的数据模型，能够有效提高数据的合理分布和使用，它包括概念模型、逻辑数据模型和物理数据模型，是数据治理的关键、重点。数据模型包含三个部分，数据结构、数据操作、数据约束。

　和数据模型管理，将表、文件等数据资源按主题进行分类，可明确 当事人、产品、协议等相关数据的主数据源归属、数据分布情况， 有效实施数据分布的规划和治理。

　第 6 页 V3.0 智慧银行大数据治理平台解决方案

　 数据结构。数据模型中的数据结构主要用来描述数据的类型、内容、性质以及数据间的联系等。数据结构是数据模型的基础，数据操作和数据约束都基本是建立在数据结构的之上的。不同的数据结构有不同的操作和约束。

　数据操作。数据模型中的数据操作主要用来描述在相应的数据结构上的操作类型和操作方式。

　数据约束。数据模型中的数据约束主要用来描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。

　2. 元数据管理 元数据分为业务元数据、技术元数据和操作元数据，三者之间关系紧密。业务元数据指导技术元数据，技术元数据以业务元数据为参考进行设计，操作元数据为两者的管理提供支撑。

　业务元数据。业务元数据是定义和业务相关数据的信息，用于辅助定位、理解及访问义乌信息。业务元数据的范围主要包括：业务指标、业务规则、数据质量规则、专业术语、数据标准、概念数据模型、实体 / 属性、逻辑数据模型等。

　技术元数据。它可以分成结构性技术元数据和关联性技术元数

　据。结构性技术元数据提供了在信息技术的基础架构中对数据的说明，如数据的存放位置、数据的存储类型、数据的血缘关系等。关

　第 7 页 V3.0 智慧银行大数据治理平台解决方案

　 联性技术元数据描述了数据之间的关联和数据在信息技术环境之中

　的流转情况。技术元数据的范围主要包括：技术规则（计算 / 统计/ 转换/ 汇总）、数据质量规则技术描述、 字段、衍生字段、事实/ 维度、统计指标、表 / 视图/ 文件/ 接口、报表 / 多维分析、数据库 / 视图组/ 文件组/ 接口组、源代码 / 程序、系统、软件、硬件等。技术元数据一般以已有的业务元数据作为参考设计的。

　操作元数据。操作元数据主要指与元数据管理相关的组织、岗位、职责、流程，以及系统日常运行产生的操作数据。操作元数据管理的内容主要包括：与元数据管理相关的组织、岗位、职责、流程、项目、版本，以及系统生产运行中的操作记录，如运行记录、应用程序、运行作业。

　很多初学者， 对大数据的概念都是模糊不清的， 大数据是什么， 能做什么， 学的时候， 该按照什么线路去学习， 学完往哪方面发展， 想深入了解，想学习的同学欢迎加入大数据学习扣裙：

　805+127+855， 有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清 华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国

　内最完整的大数据高端实战实用学习流程体系

　第 8 页 V3.0 智慧银行大数据治理平台解决方案

　3. 数据标准 数据标准是银行建立的一套符合自身实际，涵盖定义、操作、

　应用多层次数据的标准化体系。它包括基础标准和指标标准（或称

　应用标准）。与数据治理其他核心领域具有一定的交叉， 比如元数据标准、数据交换和传输标准、数据质量标准等。商业银行的数据标

　准一般以业界的标准为基础，如国家标准、监管机构（如国家统计

　局、中国人民银行、工信部）制定的标准，结合商业银行本身的实

　际情况对数据进行规范化，一般会包括格式、编码规则、字典值等

　内容。良好的数据标准体系有助于商业银行数据的共享、交互和应

　用，可以减少不同系统间数据转换的工作。数据标准的主要由业务

　定义、技术定义和管理信息三部分构成。

　数据标准的主体构成

　业务定义。业务定义主要是明确标准所属的业务主题以及标准的业务概念，包括业务使用上的规则以及标准的相关来源等。对于

　第 9 页 V3.0 智慧银行大数据治理平台解决方案

　 代码类标准，还会进一步明确编码规则以及相关的代码内容，以达

　到定义统一、 口径统一、名称统一、 参照统一以及来源统一的目的， 进而形成一套一致、规范、开放和共享的业务标准数据。

　技术定义。技术定义是指描述数据类型、数据格式、数据长度以及来源系统等技术属性，从而能够对信息系统的建设和使用提供指导和约束。

　管理信息。管理信息是指明确标准的所有者、管理人员、使用部门等内容，从而使数据标准的管理和维护工作有明确的责任主体， 以保障数据标准能够持续的进行更新和改进。

　4. 数据质量管理 数据质量管理已经成为银行数据治理的有机组成部分。高质量的数据是商业银行进行分析决策、业务发展规划的重要基础，只有建立完整的数据质量体系，才能有效提升银行数据整体质量，从而更好的为客户服务，提供更为精准的决策分析数据。

　制度和规范。从技术层面上，应该完整全面的定义数据质量的评估维度，包括完整性、时效性等，按照已定义的维度，在系统建设的各个阶段都应该根据标准进行数据质量检测和规范，及时进行治理，避免事后的清洗工作。

　数据质量评价维度

　第 10 页 V3.0 智慧银行大数据治理平台解决方案

　 明确相应的管理流程。数据质量问题会发生在各个阶段，因此需要明确各个阶段的数据质量管理流程。例如，在需求和设计阶段就需要明确数据质量的规则定义，从而指导数据结构和程序逻辑的设计；在开发和测试阶段则需要对前面提到的规则进行验证，确保相应的规则能够生效；最后在投产后要有相应的检查，从而将数据质量问题尽可能消灭在萌芽状态。数据质量管理措施，宜采用控制增量、消灭存量的策略，有效控制增量，不断消除存量。

　商业银行数据质量管理流程

　5. 数据生命周期管理 任何事物都具有一定的生命周期，数据也不例外。从数据的产生、加工、使用乃至消亡都应该有一个科学的管理办法，将极少或者不再使用的数据从系统中剥离出来，并通过核实的存储设备进行保留，不仅能够提高系统的运行效率，更好的服务客户，还能大幅度减少因为数据长期保存带来的储存成本。数据生命周期一般包含

　第 11 页 V3.0 智慧银行大数据治理平台解决方案

　 在线阶段、归档阶段（有时还会进一步划分为在线归档阶段和离线 归档阶段）、销毁阶段三大阶段， 管理内容包括建立合理的数据类别， 针对不同类别的数据制定各个阶段的保留时间、存储介质、清理规 则和方式、注意事项等。

　数据生命周期中各参数间的关系 从上图数据生命周期中各参数间的关系中我们可以了解到，数据生命周期管理可以使得高价值数据的查询效率大幅提升，而且高价格的存储介质的采购量也可以减少很多；但是随着数据的使用程度的下降，数据被逐渐归档，查询时间也慢慢的变长；最后随着数据的使用频率和价值基本没有了之后，就可以逐渐销毁了。

　6. 数据分布和存储 数据分布和存储主要涵盖了数据如何划分和存储，总行系统以及总分行数据如何分布，主数据及参考数据（也称为副本数据或者辅数据）如何管理。只有对数据进行合理的分布和存储，才能有效的提高数据的共享程度，才能尽可能的减少数据冗余带来的存储成本。

　通常情况下，综合数据规模、使用频率、使用特性、服务时效等因素，从存储体系角度，可以将商业银行的数据存储划分为四类存储区域，即交易型数据区、集成型数据区、分析型数据区、历史型数据区。

　第 12 页 V3.0 智慧银行大数据治理平台解决方案

　 1、交易型数据区。

　交易型数据区包括渠道接入、 交互控制、 业务处理、决策支持与管理等各类联机应用数据；存储客户自助或与

　银行操作人员在业务交互办理过过程中产生的原始数据的存储，包

　括业务处理数据，内部管理数据和一些外部数据，其存储的是当前

　状态数据。

　2、集成型数据区。

　集成型数据区包括操作型数据 （ OLTP）和数据仓库型数据（ OLAP ）。

　3、分析型数据区。

　分析型数据主要是用于决策支持与管理的各类集市应用的数据。为了对业务执行情况进行深入分析，需要对原

　始数据进行进一步汇总统计分析，统计分析结果用于最终的决策展

　示，因此分析型数据区存储了这些统计、 分析模型结构的指标数据。

　4、历史数据区。

　这里存储了所有近线应用、 归档应用、 外部审计数据平台应用等的数据，主要满足各种历史数据归档后的数据保

　管和数据查询服务。

　7. 数据交换 数据交换是银行进行数据交互和共享的基础，合理的数据交换体系有助于银行提高数据共享程度和数据流转时效。一般商业银行会对系统间数据的交换规则制定一些原则，比如对接口、文件的命名、内容进行明确，规范系统间、银行系统与外部机构间的数据交换规则，指导数据交换工作有序进行。建立统一的数据交换系统，

　第 13 页 V3.0 智慧银行大数据治理平台解决方案

　 一方面可以提高数据共享的时效性，另一方面也可以精确掌握数据的流向。

　8. 数据安全 商业银行的重要且敏感数据大部分集中在应用系统中，例如客

　户的联络信息、 资产信息等， 如果不慎泄露， 不仅给客户带来损失， 也会给商业银行带来不利的声誉影响，因此数据安全在数据管理和

　治理过程中是相当重要的。

　数据存储安全。包括物理安全、系统安全存储数据的安全，主要通过安全硬件的采购来保障数据存储安全。

　数据传输安全。包括数据的加密和数据网络安全控制，主要通过专业加密软件厂商进行规范设计和安装。

　数据使用安全。需要加强从业务系统层面进行控制，防范非授权访问和下载打印客户数据信息；部署客户端安全控制工具，建立完善的客户端信息防泄漏机制，防范将客户端上存储的个人客户信息非授权传播；建立完善的数据安全管理体系，建立数据安全规范制度体系，组建数据安全管理组织机构，建立有效的数据安全审查机制；对于生产及研发测试过程中使用的各类敏感数据进行严密管理；严格与外单位合作中的个人客户信息安全管理等。

　9. 数据服务

　第 14 页 V3.0 智慧银行大数据治理平台解决方案

　 数据的管理和治理是为了更好的利用数据， 是数据应用的基础。银行应该以数据为根本，以业务为导向，通过对大数据的集中、整

　合、挖掘和共享， 实现对多样化、 海量数据的快速处理及价值挖掘， 利用大数据技术支持产品快速创新，提升以客户为中心的精准营销

　和差异化客户服务能力，增强风险防控实时性、前瞻性和系统性，

　推动业务管理向信息化、 精细化转型， 全面支持信息化银行的建设。

　建立结构化数据处理分析平台。数据仓库建设能够实现企业异构数据的集成，企业按照分析主题重组数据，建立面向全行的一致的信息视图。下图是一个典型的银行数据仓库服务体系：

　银行典型的数据仓库服务体系

　数据资产视图。在建立了数据仓库之后，需要建立统一的分析和可视化平台，解决数据在哪里，数据怎么用的问题。一个典型的应用是建立全行统一客户视图，包含客户信息统一视图、客户信息风险视图和网点业绩视图。

　数据治理的展望 数据治理不是一个临时性的运动，从银行业务发展、数据治理意识形成、数据治理体系运行的角度，需要一个长效机制来进行保证。

　在大数据时代，经过数据治理的银行数据可以发挥更大的作用。

　第 15 页 V3.0 智慧银行大数据治理平台解决方案

　 1、利用大数据挖掘技术分析各类海量信息， 发现市场热点与需求，实现产品创新服务 可以将大数据应用到产品生命周期，深入挖掘客户需求，把握客户痛点，推动产品创新。利用大数据技术对社交网络信息、在线客户评论、博客、呼叫中心服务工单、用户体验反馈等信息进行深度挖掘和分析，充分洞察客户，分析客户的情绪，了解客户对产品的想法，获知客户需求的变化趋势，从而对现有产品进行及时的调整和创新，事情贴近客户的生活场景和使用习惯。

　基于大数据创新产品评价方法，为产品创新提供数据支撑。通过大数据分析，改变目前以规模、总量为主的业务评价方式，建立一整套完整的以质量、结构为主的全新的评价方式，以引导全行真正追求有质量、有效益的发展。

　2、加强内外部信息联动， 重点利用外部信息提升银行风险防控 能力

　进一步加强与税务、海关、法院、电力部门、水务部门、房产交易登记中心、环保部门以及第三方合作机构的数据互联共享，有 效拓宽信息来源渠道， 深度挖掘整合系统内外客户信息、 关联关系、交易行为、 交易习惯、 上下游交易对手、 资金周转频率等数据信息， 利用大数据技术查找与分析不同数据变量间的关联关系，并建立相 应的决策模型，提升银行风险防控能力。

　第 16 页 V3.0 智慧银行大数据治理平台解决方案

　 在信用风险方面， 可以结合外部数据， 完善信用风险防范体系， 基于可视化分析有效防控信用风险的传导。

　引入大数据理念和技术， 统一信用风险模型管理，构建覆盖信用风险训练、模型管理、日常

　预警、评分评级、客户信用视图以及业务联动控制的信贷大数据平

　台，建立多维度、全方位的缝隙爱你预警体系。

　在市场风险方面，基于市场信息有效预测市场变动，基于大数据处理技术提升海量金融数据交易的定价能力，构建定价估值引擎批量网格计算服务模式，支持对海量交易的实时定价，有效提升银行风险管控与定价能力，为金融市场业务的发展提供有力支撑。

　在操作风险方面，依托大数据信息整合优势，有效防控操作风

　险。通过可视化技术，从业务网数据中发现识别风险线索，实现由

　“风险监控”向“业务监控”模式转变， 提升风险的提前预警能力。加强跨专业风险监控模型的研发，通过由点带线、由线及面的矩阵

　式关联监控，提前识别风险交织趋势，防范风险传染。

　3、利用大数据技术提升经营管理水平， 优化业务流程， 实现精细化经营决策。

　在经营决策方面，通过外部数据的补充和整理，实现经营分析外延的拓展，从市场和经营环境的高度分析各级机构的发展方向、竞争压力，制定更合理、更有效的经营策略。同时，应用大数据可视化技术，实现复杂分析过程和分析要素向用户的有效传递，增强

　第 17 页 V3.0 智慧银行大数据治理平台解决方案

　 分析结果说服力和指导性，向经营人员提供有力的信息支撑。

　在资源配置方面，依托大数据采集和计算能力，提升测算的敏感性和有效性，加强财务预测的可靠性和有效性，为总体资源配置提供更好的信息支撑，实现对具体资源配置的动态管理。

　在过程改进方面，优化业务流程，对交易、日志的专业挖掘， 探索当前业务处理流程节点的瓶颈，寻求最有的解决方案。比如通过分析客户从排队到等候完成全部交易的流程合理性，提出过程改进方法，提升网点整体运营效率和客户体验。

　在运维保障方面，基于流数据处理技术，搭建准实时的应用交

　易级监控平台，实现交易运行情况的即时监控，保障业务运行稳定高效。

　数据治理的概述

　2.1 数据治理概念 数据治理是指将数据作为组织资产而展开的一系列的具体化工作, 是对数据的全生命周期管理。

　数据治理体系是指从组织架构、管理制度、操作规范、 IT 应用 技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。

　第 18 页 V3.0 智慧银行大数据治理平台解决方案

　 2.2 数据治理目标 数据治理的目标是提高数据的质量 （准确性和完整性），保证数据的安全性（保密性、 完整性及可用性），实现数据资源在各组织机构部门的共享；推进信息资源的整合、对接和共享，从而提升集团

　公司或政务单位信息化水平，充分发挥信息化作用。

　数据治理体系

　数据治理体系包含两个方面，一是数据质量核心领域，二是数据质量保障机制。

　具体两者内容及相互关系可以参见下图：

　第 19 页 V3.0 智慧银行大数据治理平台解决方案

　 为了有效管理信息资源，必须构集团级数据治理体系。数据治理体系包含数据治理组织、数据构架管理、主数据管理、数据质量管理、数据服务管理及数据安全管理内容，这些内容既有机结合， 又相互支撑。

　4.1 数据模型

　数据模型是数据构架中重要一部分，包括概念数据模型和逻辑数据模型，是数据治理的关键、重点。理想的数据模型应该具有非冗余、稳定、一致、易用等特征。逻辑数据模型能涵盖整个集团的业务范围，以一种清晰的表达方式记录跟踪集团单位的重要数据元素及其变动，并利用它们之间各种可能的限制条件和关系来表达重要的业务规则。数据模型必须在设计过程中保持统一的业务定义。为了满足将来不同的应用分析需要，逻辑数据模型的设计应该能够支持最小粒度的详细数据的存储，以支持各种可能的分析查询。同时保障逻辑数据模型能够最大程度上减少冗余，并保障结构具有足够的灵活性和扩展性 4.2 数据生命周期

　一般包括数据生成及传输、数据存储、数据处理及应用、数据销毁四个方面。

　 数据治理核心领域

　第 20 页 V3.0 智慧银行大数据治理平台解决方案

　 （1 ）

　）数据生成及传输 数据应该能够按照数据质量标准和发展需要产生，应采取措施保证数据的准确性和完整性，业务系统上线前应该进行必要的安全测试，以保证上述措施的有效性。对于手工流程中产生的数据在相关制度中明确要求，并通过事中复核、事后检查等手段保证其准确性和完整性。数据传输过程中需要考虑保密性和完整性的问题，对不同种类的数据分别采取不同的措施防止数据泄漏或数据被篡改。

　（2 ）

　）数据存储 这个阶段除了关注保密性、完整性之外，更要关心数据的可用性，对于大部分数据应采取分级存储的方式，不仅存储在本地磁盘上，还应该在磁带上，甚至远程复制到磁盘阵列中，或者采用光盘库进行存储。对于存储备份的数据要定期进行测试，确保其可访问其数据完整。数据的备份恢复策略应该由数据的责任部门或责任人负责制定，信息化管理部门可以给予相应的支持。同时还需要注意因为部门需要或故障处理的需要，可能对数据进行修改，必须在数据管理办法中明确数据修改的申请审批流程，审慎对待后台数据修 改。

　（3 ）

　）数据处理和应用

　信息化相关部门需要对数据进行分析处理，以挖掘出对于管理及业务开展有价值的信息，为保证过程中数据的安全性，一般应采

　第 21 页 V3.0 智慧银行大数据治理平台解决方案

　 用联机处理，系统只输出分析处理的结果。但是实际中，因为相关数据分析系统建设不到位，需要从数据库中提取数据后再对数据进行必要的分析处理，在这个过程中就需要关注数据提取操作是否可能对数据库造成破坏、提取出的数据在交付给分析处理人员的过程中其安全性是否会降低、数据分析处理的环境安全性等等。

　（4 ）

　）数据销毁 这个阶段主要涉及数据的保密性。应明确数据销毁的流程，采用必要的工具，数据的销毁应该有完整的记录。尤其是对于需要送出外部修理的存储设备，送修之前应该对数据进行可靠的销毁。

　4.3 数据标准

　数据标准是集团单位建立的一套符合自身实际，涵盖定义、操作、应用多层次数据的标准化体系。

　数据标准的建立是集团单位信息化、数字化建设的一项重要工作，行业的各类数据必须遵循一个统一的标准进行组织，才能构成一个可流通、可共享的信息平台。

　数据治理对标准的需求可以划分为两类，即基础性标准和应用性标准。前者主要用于在不同系统间，形成信息的一致理解和统一的坐标参照系统，是信息汇集、交换以及应用的基础，包括数据分类与编码、数据字典、数字地图标准；后者是为平台功能发挥所涉及的各个环节，提供一定的标准规范，以保证信息的高效汇集和交

　第 22 页 V3.0 智慧银行大数据治理平台解决方案

　 换，包括元数据标准、数据交换技术规范、数据传输协议、数据质量标准等。

　（1 ）

　）数据分类与编码 数据分类与编码标准是信息化建设中标准化的一项基础工作， 该类标准规定平台汇集、交换相关信息统一的分类系统和排列顺序以及编码规则，目的是在不同系统和用户之间建立交通数据的一致参照，对提高数据采集、处理和数据交换效率具有重要作用。数据分类与编码标准的制定将有力推进平台标准化及交通信息化建设标准化的进程。

　（2 ）

　）数据字典 针对实际需求，定义数据集，建立各个领域的数据字典，规范数据概念和数据定义。在此基础上，形成完备的集团单位数据集和数据字典。

　（3 ）

　）元数据标准 元数据标准是描述数据资源的具体对象时所有规则的集合，它包括了完整描述一个具体数据对象时所需要的数据项集合。针对各种信息资源分别制定适当的元数据标准，可为信息的管理、发现和获取提供一种实际而简便的方法，从而提高数据交换效率。

　（4 ）

　）数据交换标准 为了保证数据共享和交换的顺利实现，必须明确定义和规范数

　第 23 页 V3.0 智慧银行大数据治理平台解决方案

　 据交换的相关标准。数据交换的标准规范是集团单位综合信息平台的核心标准。其中应当包括数据交换内容、数据交换格式、数据传输方式、各类中心间数据接口的标准化等方面。

　（5 ）

　）数据质量标准 由于数据采集任务通常由其他二级平台完成，数据治理平台的

　标准方法主要集中在数据的加工和管理上。应该重点开发的一个领

　域是数据质量控制方法。

　应当从三个方面对数据质量方法进行研究：

　“ 坏数据” 或“不可靠数据” 的识别， 错误数据的编辑方法， 以及缺少值的处理。

　4.4 主数据

　主数据管理要做的就是从各部门的多个业务系统中整合最核心

　的、最需要共享的数据 （主数据），集中进行数据的清洗和丰富， 并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据

　传送给集团单位范围内需要使用这些数据的操作型应用系统和分析

　型应用系统。

　主数据管理的信息流应为：

　1) 某个业务系统触发对主数据的改动； 2) 主数据管理系统将整合之后完整、 准确的主数据传送给所有有关的应用系统 3) 主数据管理系统为决策支持和数据仓库系统提供准确的数

　第 24 页 V3.0 智慧银行大数据治理平台解决方案

　 据源。

　因此对于主数据管理要考虑运用主数据管理系统实现，主数据 管理系统的建设， 要从建设初期就考虑整体的平台框架和技术实现。

　4.5 数据质量

　数据质量不高将影响数据仓库应用程度不高。低下的数据质量 往往造成开发出来的系统与用户的预期大相径庭，数据质量关系建 设有关分析型信息系统成败， 同时数据资源是集团单位的战略资源， 合理有效的使用正确的数据能指导集团单位做出正确的决策，提高 省综合竞争力。不合理的使用不正确的数据（即差的数据质量）可 导致决策的失败，正可谓差之毫厘、谬以千里。

　数据质量管理包含对数据的绝对质量管理、过程质量管理。绝 对质量即数据的真实性、 完备性、自治性是数据本身应具有的属性。过程质量即使用质量、存储质量和传输质量，数据的使用质量是指 数据被正确的使用。再正确的数据，如果被错误的使用，就不可能 得出正确的结论。数据的存贮质量指数据被安全的存贮在适当的介 质上。所谓存贮在适当的介质上是指当需要数据的时候能及时方便 的取出。数据的传输质量是指数据在传输过程中的效率和正确性。

　高质量的交通运输行业数据至少有如下几项要求：

　一是正确性，在转换、分析、存储、传输、应用流程中不存在错误；

　第 25 页 V3.0 智慧银行大数据治理平台解决方案

　 二是完整性，数据库应用或要求的所有记录、字段都存在； 三是一致性，体现在整个数据库的定义和维护方面，确保数据 在使用的整个过程中是一致的； 四是时效性，衡量指标是在指定的数据与真实的业务情况同步的时间容忍度内，即指定的更新频度内，及时被刷新的数据的百分比； 五是可靠性，提供数据的数据源必须能够可靠稳定地提供数据。数据质量管理的规划和实施包括以下内容：

　一是数据质量管控体系的建立，包括数据质量的评估体系，定

　期评估数据质量状况； 二是在部门各个应用系统中的落实，包括每个应用系统中的数据质量检查等； 三是在最开始建立数据质量管理系统的时候，借助数据治理平

　台上，通过建立数据质量管理的规则来集中化地建立数据质量管理系统，发现问题并持续改进； 四是数据质量管理与业务稽核的结合，通过业务规则的稽核来

　发现数据质量深层次的问题，将数据质量与业务一线结合起来，使业务人员对数据质量问题有更加清晰和明确的认识。

　完善的数据质量管理是保障各项数据治理工作能够得到有效落实，达到数据准确、完整的目标，并能够提供有效的增值服务的重

　第 26 页 V3.0 智慧银行大数据治理平台解决方案

　 要基础。

　4.6 数据服务

　数据整理最终目的就是要服务于各部门单位、人员等，能更准确更快更方便的服务是数据服务管理的目标。

　数据服务管理是指针对内部积累多年的数据，研究如何能够充

　分利用这些数据，分析行业业务流程优化业务流程。数据使用的方式通常包括对数据的深度加工和分析，包括通过各种报表、工具来分析运营层面的问题，还包括通过数据挖掘等工具对数据进行深度加工，从而更好的管理者服务。通过建立统一的数据服务平台来满足针对跨部门、跨系统的数据应用。通过统一的数据服务平台来统一数据源，变多源为单源，加快数据流转速度，提升数据服务的效率。

　4.7 数据安全

　由于集团单位的重要且敏感信息大部分集中在应用系统中，数据安全更是至关重要。如何保障数据不被泄露和非法访问，是非常关键的问题。数据安全管理主要解决的就是数据在保存、使用和交换过程中的安全问题。

　数据安全管理主要体现在以下六个方面：

　一是数据使用的安全性，包括基础数据的保存、访问和权限管

　第 27 页 V3.0 智慧银行大数据治理平台解决方案

　 理； 二是数据隐私问题，系统中采集的证件号码、银行账号等信息

　在下游分析系统和内部管理系统中，是否要进行加密，以避免数据被非法访问； 三是访问权限统一管理，包括单点登录问题及用户名、数据和应用的访问授权统一管理； 四是数据安全审计，为数据修改、使用等环节设置审计方法， 事后进行审计和责任追究； 五是制度及流程建立，逐步建立数据安全性的管理办法、系统

　开发规范、数据隐私管理办法及相应的应用系统规范、在管理决策和分析类系统中的审计管理办法等； 六是应用系统权限的访问控制，建立集团级权限管理系统，增加数字水印等技术在应用系统中的使用 。

　数据治理保障机制

　5.1 制度章程 5.1.1 规章制度

　数据治理章程类似于企业的公司条例。该章程阐明数据治理的主要目标、相关工作人员、职责、决策权利和度量标准。

　具体可参见 附件 数据管理规范

　第 28 页 V3.0 智慧银行大数据治理平台解决方案

　 5.1.2 管控办法

　管控办法是基于规章制度与工具的结合， 可落地的操作的办法。具体可参见 附件 数据质量评估办法 5.1.3 考核机制

　考核是是保障制度落实的根本，建立明确的考核制度，实际操作中可根据集团单位情况，建立相应的针对数据治理方面的考核办法，并与个人绩效相关联。可参考管理学中相关考核、绩效管理相关部分。

　对于数据治理的考核，可见下图进行理解：

　第 29 页 V3.0 智慧银行大数据治理平台解决方案

　5.2 数据治理组织

　5.2.1 组织架构

　有效的组织机构是项目成功的有力保证，为了达到项目预期目标，在项目开始之前对于组织机构及其责任分工做出规划是非常必要的，数据治理项目管理组织建议宜采用如图所示的组织结构：

　第 30 页 V3.0 智慧银行大数据治理平台解决方案

　 5.2.2 组织层次

　数据治理委员会由集团公司的高层领导者组成。委员会定义数 据治理愿景和目标；组织内跨业务部门和 IT 部门进行协调；设置数据治理计划的总体方向；在发生策略分歧时进行协调。此委员会 也将包含来自部门或子公司的领导代表，以及来自各单位视数据为 机构资产的信息科技部门的代表。这些高层管理人员是数据治理计 划的所有拥护者，确保在整个组织内获得支持。

　数据治理工作组是组织内委员会下面的下一个级别。工作组执

　第 31 页 V3.0 智慧银行大数据治理平台解决方案

　 行数据治理计划。工作组负责监督数据管理员工作。数据治理工作组由数据治理委员会中各局领导主持。

　每各业务部门有至少一位业务分析员，信息科技部门设置数据质量分析员、数据管理员、集成开发人员。各工作人员负责本部门数据的质量，履行职责，解决具体的问题。

　5.2.3 组织职责

　根据数据管理工作的实际需要，在业务管理部门、技术管理部门和业务应用部门确定各工作人员的职责。

　数据治理委员会的职责范围：

　1）

　从战略角度来统筹和规划，

　对数据资产和系统进行清理， 确定数据治理的范围； 明确数据源的出处、 使用和管理的流程及职责； 2）

　明确数据治理的组织、功能、角色和职责； 3）

　负责各工作组成员的培训工作； 4）

　负责审查各工作小组的目标、 原则，批准数据管理的相关制度、标准及流程； 5）

　负责确定数据治理的工具、技术和平台； 6）

　负责制定数据治理的评估指标、方法。数据治理工作小组，其主要工作职责是：

　负责数据治理的牵头，组织、指导和协调本单位的数据治理工 作；

　第 32 页 V3.0 智慧银行大数据治理平台解决方案

　 综合数据治理管控办法、数据治理考核机制等有关规章制度的牵头制定、修改等； 负责数据的分析整理并出具数据指标报告； 负责数据的监测预测工作； 建立数据冲突的处理流程和数据变更控制流程。

　负责对基础数据质量的检测、发布、考核和清理完善工作。

　工作组成员：业务分析员、数据质量分析员、数据管理员、集 成开发员 这些不同的角色在数据治理过程中承担着彼此不同，而又相辅

　相成的职责。其中集成开发人员在数据治理流程中需要肩负起数据

　访问、验证数据结构、 验证数据、 交付数据以及数据库 / 知识库的构建等角色，因此他们的工作包括 ：

　访问及交付相应数据给业务用户提高生产力和性能 最大化减少异常 / 出错的影响 开发和完善技术最佳实践 数据质量分析员在数据治理流程中负责数据的剖析、清洗匹配合并等。工作包括：

　为开发人员定义数据规格及标准为机构有效的追踪数据质量问题

　第 33 页 V3.0 智慧银行大数据治理平台解决方案

　 实施被业务人员和数据管理员定义正确的数据质量规则不间断的监控数据质量水平及问题 业务分析人员在数据治理流程中负责定义数据的转换规则，工 作包括：

　与需求开发人员协作，正确捕获和解析业务需求 与开发人员和数据管理员协作， 为业务用户缩短数据产生价值的时间 数据管理员需要定义引证数据，并管理元数据，工作包括：

　保证数据的质量、正确、完整、一致、审计及安全性 定义引证/ 参考 数据 为组织机构数据实体给出正确业务定义

　为组织机构解决混淆和有争论的数据定义

　5.3 流程管理

　流程管理包括流程目标、流程任务、流程分级，根据数据治理的内容，建立相应流程，且遵循本单位数据治理的规则制度。实际操作中可结合所使用的数据治理工具，与数据治理工具供应商进行协商，建立符合集团公司的流程管理。

　第 34 页 V3.0 智慧银行大数据治理平台解决方案

　 5.4 IT 技术应用 5.4.1 支撑平台 现市场上关于数据治理平台存在不同的成熟产品，但在功能实 现上大致相同，具体可参加下图了解。

　第 35 页 V3.0 智慧银行大数据治理平台解决方案

　第 36 页 V3.0 智慧银行大数据治理平台解决方案

　 5.4.2 技术规范

　技术规范是保障数据治理平台可持续管理的基础，随着数据量 的增长、技术水平的发展， 为更好、可持续的实现数据资产的管理、

　第 37 页 V3.0 智慧银行大数据治理平台解决方案

　 应用，需建立明确的技术规范。

　第 38 页 V3.0 智慧银行大数据治理平台解决方案

　 附件 A 数据管理规范

　为逐步提高数据资源利用效果， 推动信息化建设管理向标准化、信息化和数字化方向发展，数据管理应遵循以下原则：

　（1 ）

　）统一规范。数据标准要严格执行省交通运输厅的统一标准。

　（2 ）

　）分级管理。实行分层级的数据管理模式，明确职责分工，层层落实责任。

　（3 ）

　）过程控制。

　建立数据从采集、 报送、审核到应用、 维护全过程的控制规范，保证数据质量，提高应用效果。

　（4 ）

　）保障安全。

　建立数据访问的身份验证、 权限管理及定期备份等安全制度，规范操作，做好病毒预防、入侵检测和数据保密工 作。

　（5 ）

　）数据共享。

　整合应用系统， 做到入口唯一， 实现数据一次

　采集，集中存储，共享使用。

　数据管理的规范工作包括：数据标准、数据采集、数据审核、数据维护、数据分析、数据应用、数据发布、数据传输、数据存储 （备份、恢复）、数据安全管理、数据质量监控、数据管理考核等。

　（一）数据标准

　第一条 安徽省交通运输行业数据必须按国家交通部制定的数据标准和代码规范执行。国家交通部标准中未包括的内容执行安徽

　第 39 页 V3.0 智慧银行大数据治理平台解决方案

　 省交通运输厅的统一规范。

　第二条 在数据采集工作中， 各级应严格依据省局制定的标准进行数据的采集录入、审核修正、数据质量监控和管理考核，确保数 据质量。

　第三条 数据指标的设定和修改必须严格执行软件的管理规定

　和程序。凡使用省局统一软件的，市局对有关数据指标无权制定和

　修改，必须执行全省统一规范。使用非省局统一软件的，市局业务

　管理部门应根据工作需要和所管软件的需求变化， 及时提出设定（修改）数据指标的具体内容、质量标准和时间要求，并明确数据录入

　部门、录入岗位和录入时限，报分管领导批准后提交安徽省交通运

　输联网运行管理中心。安徽省交通运输联网运行管理中心应根据业

　务管理部门的需求，及时制定（修改）数据采集的技术规范，包括

　数据采集格式、权限设定和方法步骤等，并按时向业务管理部门通

　报所采集数据的指标内容变化情况，以便业务部门根据采集到的指

　标提出数据加工需求。

　第四条 数据指标的确定应以有效实用和优化服务为目标， 不断提高数据集中度和信息共享度，科学归并各项业务的同类、同属性

　指标，避免业务部门重复上报数据。

　（二）

　数据采集 第一条 数据采集重点是原始数据的采集， 原始数据主要包括业

　第 40 页 V3.0 智慧银行大数据治理平台解决方案

　 务部门通过纸质资料报送的数据，通过电子传输报送的数据（含电 磁介质报送的数据和网络传输报送的数据， 下同）；相关部门通过纸 质、电子传输提供的数据； 管理业务处理结果 （检查、调查、核实、认定、审批等）产生的数据。

　第二条 数据采集主要依靠应用系统进行录入（导入）

　，现用应用系统不能满足数据采集需要的，通过相关系统的补录模块进行数

　据录入（导入）。

　第三条 数据采集方式分为手工采集、 数据电文导入和光学字符识别（ OCR ）、图形扫描等其他方式。

　为保障数据采集的质量， 提高数据采集的效率， 应充分应用信息化技术，最大限度地减少手工录入。

　第四条 为提高数据录入质量， 各市交通部门有关单位要认真执行资料数据的核对制度，严格以原始资料为依据，确保录入数据的 一致性和准确性。数据采集录入前，操作人员应先将准备录入的原 始资料或有关表证单书进行完整性、逻辑性、真实性审核，发现漏 填、错填和逻辑关系不符的，应于做出修正或补正； 第五条 对通过电子传输方式报送数据的， 数据必须通过接收软件相应设置的完整性、逻辑性审核。

　第六条 各级各单位应建立纸质数据和电子数据的核对制度， 明确职责分工和工作程序，落实岗位...