衡泰金融数据管理平台白皮书_养老公司_估值挪动

　杭州衡泰软件有限公司

　网址：

　电话：0571-2882-6766

　电邮： info@

　衡泰金融数据管理平台

　估值挪动模块

　版权说明

　版权说明

　本文为属于杭州衡泰软件有限公司所有的机密材料。在获得杭州衡泰软件有限公司直接的书面允许之前，本文中的任何部分均不得用各种方法或形式复制或公布于众。这些方法包括电子或机械的方法，如：影印或各种信息储存或重复取用系统。同样，在获得杭州衡泰软件有限公司直接的书面允许之前，本文中的任何部分也不得向第三方披露。

　产

　品

　白

　皮

　书

　版权说明

　版权说明

　本文为属于杭州衡泰软件有限公司所有的机密材料。在获得杭州衡泰软件有限公司直接的书面允许之前，本文中的任何部分均不得用各种方法或形式复制或公布于众。这些方法包括电子或机械的方法，如：影印或各种信息储存或重复取用系统。同样，在获得杭州衡泰软件有限公司直接的书面允许之前，本文中的任何部分也不得向第三方披露。

　目录

　 TOC \o "1-4" \h \z \u 一、 产品概述 3

　 二、 功能介绍 4

　 2.1 估值挪动处理流程 4

　 2.2 托管行数据处理样本 6

　 2.3 作业调度管理与监控 17

　 2.4 系统管理 18

　 三、 功能特色 19

　 3.1 支持估值文件多种接收方式 19

　 3.2 支持估值文件的自动回溯处理 19

　 3.3 支持估值数据的账户自动识别功能 19

　 3.4 支持估值数据的日期自动识别功能 19

　 四、 部署方案 20

　 4.1 网络架构图 20

　 4.2 软硬件要求 20

　产品概述

　衡泰金融数据管理平台（以下简称“xEDM”），是衡泰拥有自主知识产权，面向金融行业投资领域的数据处理整体解决方案，是一个包含大量数据清洗，转换，核对规则的业务规则库，全程保障数据的准确性；并能方便的封装成各类数据集市满足后续业务的应用；具体扩展性和灵活性，能满足持续不断变化的业务需求；整个数据平台的数据能根据主题直观、安全的访问和获取的管理型金融数据平台。

　xEDM估值挪动模块主要针对养老公司托管行估值数据文件的特点，提供了一套可配置的估值文件数据的自动收集、检测和规整的专业化功能。

　该估值挪动功能支持针对各个托管行提供的文件数据具有每天的到达时间与到达方式存在不确定性，文件内容较为不规整的情况，通过文件规整处理流程对Excel或MDB类型的文件进行自动匹配组合名称与日期信息，对数据文件进行规范化，整理为“账户（组合）代码/日期/文件”的文件夹结构。为后续数据文件的读取和使用提供了极大的便利。

　功能介绍

　估值挪动功能少了一点邮件接入的方式例子没有写结果的管理，回溯信息的产生也可以描述一下里面的几个标识为作用，为后续智能数据导入做准备处理流程

　功能少了一点

　邮件接入的方式例子没有写

　结果的管理，回溯信息的产生

　也可以描述一下里面的几个标识为作用，为后续智能数据导入做准备

　估值挪动功能的目标是将接收到托管行的各类文件数据进行规整为标准化的文件目录和文件格式。目前各托管行的数据提供主要有两种方式，一是通过深证通工具软件接收过来，二是通过邮件方式接收过来。我们对于这两种方式分别提供了完整的文件规整处理流程，比如托管行数据文件以深证通工具软件方式提供为例，如下所示：

　上述估值挪动处理的结果包括两部分：增加估值挪动结果文件和回溯信号描述

　增加估值挪动结果文件和回溯信号描述

　1、数据文件统一按照规范的文件目录和标准化文件名称存储，并且对于Excel文件的sheet页名称也进行了规范化处理，目录层次结构如下所示：

　托管行

　账户（组合）代码

　日期

　数据文件

　工商银行

　S00001

　2016-01-04

　FundMessage.XLS

　2016-01-05

　FundMessage.XLS

　2016-01-06-2016-01-07

　FundMessage.XLS

　S00002

　2016-01-04

　FundMessage.XLS

　2016-01-05

　FundMessage.XLS

　2016-01-06-2016-01-07

　FundMessage.XLS

　…

　…

　…

　…

　农业银行

　H00001

　2016-01-04

　FundMessage.MDB

　2016-01-05

　FundMessage.MDB

　2016-01-06-2016-01-08

　FundMessage.MDB

　H00002

　2016-01-04

　FundMessage.MDB

　2016-01-05

　FundMessage.MDB

　2016-01-06-2016-01-08

　FundMessage.MDB

　…

　…

　…

　…

　2、按照托管行进行分类自动生成接收到文件列表信息的回溯信号，并存储在系统的回溯信号表中，为后续触发自动化数据处理流程提供了前置条件。上述数据文件对应的回溯信号表中记录如下：

　信号源

　账户（组合）代码

　开始日期

　结束日期

　回溯处理状态

　工商银行

　S00001

　2016-01-04

　2016-01-04

　 未处理

　2016-01-05

　2016-01-05

　 未处理

　2016-01-06

　2016-01-07

　 未处理

　S00002

　2016-01-04

　2016-01-04

　 未处理

　2016-01-05

　2016-01-05

　 未处理

　2016-01-06

　2016-01-07

　 未处理

　…

　…

　…

　…

　..

　农业银行

　H00001

　2016-01-04

　2016-01-04

　 未处理

　2016-01-05

　2016-01-05

　 未处理

　2016-01-06

　2016-01-08

　 未处理

　H00002

　2016-01-04

　2016-01-04

　 未处理

　2016-01-05

　2016-01-05

　 未处理

　2016-01-06

　2016-01-08

　 未处理

　…

　…

　…

　…

　备注：回溯处理状态为回溯任务执行过程控制预留，包括 未处理(0)、已处理(1)、处理中(2)、处理完毕(3)、处理失败(4)。

　托管行数据功能少了一点邮件接入的方式例子没有写结果的管理，回溯信息的产生也可以描述一下里面的几个标识为作用，为后续智能数据导入做准备处理

　功能少了一点

　邮件接入的方式例子没有写

　结果的管理，回溯信息的产生

　也可以描述一下里面的几个标识为作用，为后续智能数据导入做准备

　估值挪动功能支持的常见托管行列表如下，也可通过自定义配置数据匹配策略来支持其他未列入本表格的托管行：

　序号

　托管行

　文件类型

　接收方式已增加接受方式和标明频率

　已增加接受方式和标明频率

　频度(时点不定)

　1

　工商银行

　EXCEL

　email

　周

　月末

　2

　农业银行

　MDB

　email/深证通

　周

　月末

　3

　招商银行

　MDB

　深证通

　周

　月末

　4

　中国银行

　EXCEL/MDB

　深证通

　周

　月末

　5

　光大银行

　MDB

　深证通

　周

　月末

　6

　建设银行

　MDB

　email

　周

　月末

　7

　浦发银行

　MDB

　深证通

　日

　周末

　月末

　8

　中信银行

　MDB

　email/深证通

　周

　月末

　9

　民生银行

　MDB

　深证通

　周

　月末

　10

　交通银行

　EXCEL/MDB

　深证通

　日

　周末

　月末

　为了便于理解估值挪动的文件规整处理效果，下面以分别对支持的托管行数据进行来具体介绍其处理效果：

　工商银行（邮件接收方式/Excel文件）的估值数据

　通过邮件方式接收到的Excel数据文件下载到临时目录，其特点是文件名称不统一、并且有压缩文件和非压缩文件共存，并且垃圾文件较多的情况，经过估值挪动处理后剔除垃圾文件，并实现目录结构层次清晰及文件名称统一，如下所示：

　其对应的估值挪动配置如下所示：

　序号

　Excel文件格式配置

　填写内容

　备注

　1

　文件名称匹配方式

　*.xls

　2

　起始行

　1

　3

　组合行数

　1

　4

　组合列数

　1

　5

　组合名称匹配串

　_*__

　6

　日期行数

　2

　7

　日期列数

　1

　8

　工作表名称

　资产估值表

　9

　生成文件名

　FundMessage.xls

　10

　生成工作表名称

　Sheet1

　其对应的接收邮箱配置信息如下所示:

　序号

　邮箱配置信息

　填写内容

　备注

　1

　服务地址

　0

　163邮箱服务示例

　2

　邮箱名称

　ReceiveUser

　示例

　3

　邮箱密码

　ReceivePwd

　示例

　农业银行（邮件接收方式/MDB文件）的估值数据

　通过邮件接收方式下载下来的文件有压缩文件和非压缩文件共存，并且有较多垃圾文件，包括html\doc\jpg等，经过“估值挪动”功能的过滤规整处理后，目录结构层次清晰及文件名称统一，如下所示：

　其对应的估值挪动配置如下所示：

　序号

　MDB文件格式配置

　填写内容

　备注

　1

　文件名称匹配方式

　*.mdb

　2

　基本信息表

　Baseinfo

　3

　组合字段名

　FName

　4

　估值表名

　Gzb

　5

　日期字段名

　FDate

　6

　生成文件名

　FundMessage.MDB

　其对应的接收邮箱配置信息如下所示:

　序号

　邮箱配置信息

　填写内容

　备注

　1

　服务地址

　0

　163邮箱服务示例

　2

　邮箱名称

　ReceiveUser

　示例

　3

　邮箱密码

　ReceivePwd

　示例

　招商银行（深证通接收方式/MDB文件）的估值数据

　其规整处理之前的数据特点是原始MDB文件目录相对规整，存在文件名称不统一，文件类型多样的情况等，经过“估值挪动”功能的过滤解压和规整处理后，目录结构层次清晰及文件名称统一，并剔除无用文件，如下所示：

　其对应的估值挪动配置如下所示：

　序号

　MDB文件格式配置

　填写内容

　备注

　1

　文件名称匹配方式

　*.mdb

　2

　基本信息表

　Baseinfo

　3

　组合字段名

　FName

　4

　估值表名

　Gzb

　5

　日期字段名

　FDate

　6

　生成文件名

　FundMessage.MDB

　中国银行（深证通接收方式/MDB和Excel文件）的估值数据

　其规整处理之前的数据特点是原始MDB和Excel文件共存，并且有压缩文件和非压缩文件的情况，并且垃圾文件较多，比如doc等，经过“估值挪动”功能的过滤剔除和规整处理后，目录结构层次清晰及文件名称统一，如下所示：

　其对应的估值挪动配置如下所示：

　序号

　MDB文件格式配置

　填写内容

　备注

　1

　文件名称匹配方式

　*.mdb

　2

　基本信息表

　Baseinfo

　3

　组合字段名

　FName

　4

　估值表名

　Gzb

　5

　日期字段名

　FDate

　6

　生成文件名

　FundMessage.MDB

　序号

　Excel文件格式配置

　填写内容

　备注

　1

　文件名称匹配方式

　*.xls

　2

　起始行

　1

　3

　组合行数

　1

　4

　组合列数

　1

　5

　组合名称匹配串

　_*__

　6

　日期行数

　2

　7

　日期列数

　1

　8

　工作表名称

　Sheet1

　9

　生成文件名

　FundMessage.xls

　10

　生成工作表名称

　Sheet1

　光大银行（深证通接收方式/MDB文件）的估值数据

　其规整处理之前的数据特点是原始MDB文件名称杂乱，并且有压缩文件和非压缩文件共存的情况等，经过“估值挪动”功能的规整处理后，目录结构层次清晰及文件名称统一，如下所示：

　其对应的估值挪动配置如下所示：

　序号

　MDB文件格式配置

　填写内容

　备注

　1

　文件名称匹配方式

　*.mdb

　2

　基本信息表

　Baseinfo

　3

　组合字段名

　FName

　4

　估值表名

　Gzb

　5

　日期字段名

　FDate

　6

　生成文件名

　FundMessage.MDB

　建设银行（邮件接收方式/MDB文件）的估值数据

　其规整处理之前的数据特点是有压缩文件和非压缩文件共存，文件命名不规则，数据格式多种多样的情况等，经过“估值挪动”功能的过滤剔除和规整处理后，目录结构层次清晰及文件名称统一，如下所示：

　其对应的估值挪动配置如下所示：

　序号

　MDB文件格式配置

　填写内容

　备注

　1

　文件名称匹配方式

　*.mdb

　2

　基本信息表

　Baseinfo

　3

　组合字段名

　FName

　4

　估值表名

　Gzb

　5

　日期字段名

　FDate

　6

　生成文件名

　FundMessage.MDB

　其对应的接收邮箱配置信息如下所示:

　序号

　邮箱配置信息

　填写内容

　备注

　1

　服务地址

　0

　163邮箱服务示例

　2

　邮箱名称

　ReceiveUser

　示例

　3

　邮箱密码

　ReceivePwd

　示例

　浦发银行（深证通接收方式/MDB文件）的估值数据

　其规整处理之前的数据特点是原始MDB文件目录单一，但是存在压缩文件和压缩文件过程中的临时文件的情况，经过“估值挪动”功能的规整处理后，目录结构层次清晰及文件名称统一，剔除了临时非法文件，如下所示：

　其对应的估值挪动配置如下所示：

　序号

　MDB文件格式配置

　填写内容

　备注

　1

　文件名称匹配方式

　*.mdb

　2

　基本信息表

　Baseinfo

　3

　组合字段名

　FName

　4

　估值表名

　Gzb

　5

　日期字段名

　FDate

　6

　生成文件名

　FundMessage.MDB

　中信银行（邮件接收方式/MDB文件）的估值数据

　其原始数据特点是文件目录结构零乱，并且有压缩文件和非压缩文件共存,多种文件类型包括doc\rar\zip\xls等，经过“估值挪动”功能的过滤解压和规整处理后，目录结构层次清晰及文件名称统一，无用文件被移除，只留下符合要求的数据文件，如下所示:

　 其对应的估值挪动配置如下所示：

　序号

　MDB文件格式配置

　填写内容

　备注

　1

　文件名称匹配方式

　*.mdb

　2

　基本信息表

　Baseinfo

　3

　组合字段名

　FName

　4

　估值表名

　Gzb

　5

　日期字段名

　FDate

　6

　生成文件名

　FundMessage.MDB

　其对应的接收邮箱配置信息如下所示:

　序号

　邮箱配置信息

　填写内容

　备注

　1

　服务地址

　0

　163邮箱服务示例

　2

　邮箱名称

　ReceiveUser

　示例

　3

　邮箱密码

　ReceivePwd

　示例

　其对应的接收邮箱配置信息如下所示:

　序号

　邮箱配置信息

　填写内容

　备注

　1

　服务地址

　0

　163邮箱服务示例

　2

　邮箱名称

　ReceiveUser

　示例

　3

　邮箱密码

　ReceivePwd

　示例

　民生银行（深证通接收方式/MDB文件）的估值数据

　其规整处理之前的数据特点是原始MDB文件名称比较不规则，目录中垃圾文件较多有doc\jpg等，并且有压缩文件和非压缩文件共存的情况等，经过“估值挪动”功能的过滤剔除和规整处理后，目录结构层次清晰及文件名称统一，如下所示：

　其对应的估值挪动配置如下所示：

　序号

　MDB文件格式配置

　填写内容

　备注

　1

　文件名称匹配方式

　*.mdb

　2

　基本信息表

　Baseinfo

　3

　组合字段名

　FName

　4

　估值表名

　Gzb

　5

　日期字段名

　FDate

　6

　生成文件名

　FundMessage.MDB

　其对应的接收邮箱配置信息如下所示:

　序号

　邮箱配置信息

　填写内容

　备注

　1

　服务地址

　0

　163邮箱服务示例

　2

　邮箱名称

　ReceiveUser

　示例

　3

　邮箱密码

　ReceivePwd

　示例

　交通银行（深证通接收方式/MDB和Excel文件）的估值数据

　其原始MDB数据文件下载到临时目录，其特点是有MDB和excel两种有效数据文件，文件名称不统一、并且有压缩文件和非压缩文件共存等情况，经过估值挪动处理后，目录结构层次清晰及文件名称统一，如下所示：

　其对应的估值挪动配置如下所示：

　序号

　Excel文件格式配置

　填写内容

　备注

　1

　文件名称匹配方式

　*.xls

　2

　起始行

　1

　3

　组合行数

　1

　4

　组合列数

　1

　5

　组合名称匹配串

　_*__

　6

　日期行数

　2

　7

　日期列数

　1

　8

　工作表名称

　资产估值表

　9

　生成文件名

　FundMessage.xls

　10

　生成工作表名称

　Sheet1

　序号

　MDB文件格式配置

　填写内容

　备注

　1

　文件名称匹配方式

　*.mdb

　2

　基本信息表

　Baseinfo

　3

　组合字段名

　FName

　4

　估值表名

　Gzb

　5

　日期字段名

　FDate

　6

　生成文件名

　FundMessage.MDB

　作业调度管理与监控

　作业调度管理

　估值挪动处理支持自动定时作业方式运行，也可以手工执行立即运行。

　作业管控模块提供了作业调度策略维护管理和作业执行监控分析功能，可以为估值挪动处理配置作业调度策略和运行情况的监控分析。

　作业调度模块提供了完善的作业调度机制，可以定时按照不同的日历（自然日历、交易日历、银行间日历以及自定义日历）触发作业，也可以通过数据回溯机制捕捉估值文件的变动，增量方式实现估值文件的规整处理和数据重新加载。

　作业调度监控

　1、作业执行计划查询

　根据作业的定义配置，系统生成每天（或针对具体某一业务日期或数据日期）的详细作业执行计划，可供系统维护人员查询，使系统维护人员能全面了解当天或未来某一天数据平台系统的作业执行计划，从而应对可能发生的各种作业的变更情况。

　2、作业时间监控配置

　数据平台系统的作业能否按计划时间开始执行及结束，对确保系统的服务质量至关重要，所以需要对作业的开始执行时间和执行时长进行监控，并根据应用需求设置监控报警值。当以上时间超过报警值时，则生成系统报警信息。

　3、运行情况监控

　对数据平台系统内运行各项作业的执行情况，进行统一监控，包括：对作业的运行情况进行监控；对作业的运行状态进行监控；对作业的运行时间进行监控。

　通过对作业运行情况的监控，能掌握数据平台当前总共有多少个作业已经执行完成、尚未执行、执行中。对作业的运行状态概况的监控，主要包括总的作业数、已完成作业数、执行中的作业数、异常的作业数等信息。另外还可以按照用户需要具体查看某个作业的运行情况，如对执行中的作业，可查询作业当前已执行的时间（包括作业开始执行时间）；对已执行完成的作业，可查询整个作业执行所需的时间（包括作业开始执行时间、结束执行时间）。

　对作业的运行情况监控，有利于运维人员及时准确掌握数据平台的运行状态，对于作业运行中的异常情况能在第一时间获知并进行排查处理。

　4、作业异常监控

　根据对作业运行情况的实时监控，对作业在执行中有可能会出现异常情况进行监控报警。具体如数据加工作业失败、数据传输作业失败。数据加工中，对不符合规范和格式的数据会产生临时矩阵数据文件，系统提供文件下载功能，可供监控和技术支持人员进行异常分析。

　系统会定期去捕获上述异常情况，在监控界面上显示报警信息，用户还可选择某一异常情况，查看详细的错误日志信息，为后续的作业干预及时提供信息。

　系统管理

　1、日历设置

　设置系统支持日历类型。系统每年持续、主动的预先维护来年常用市场日历序列，为估值挪动自动作业配置提供准确的日历依据；并支持自定义日历序列调整，自定义产品日历生成。

　2、账户管理

　对公司的投资账户（组合）进行基本信息维护和设置，如设置组合英文名称、组合中文名称、分类等。系统提供产品扩展管理页面（基本信息、扩展信息），可以自定义产品属性、时序化属性值等。

　3、账户树

　支持多层次的账户（组合）结构，一般都以数据来源（如托管行）进行分类，方便后续数据管理及回溯信息的产生。

　4、权限管理

　本模块用于系统管理员对系统内所有访问资源进行授权管理，通过对用户的功能权限和数据权限的双层授权机制来控制系统权限

　5、用户管理

　用于系统用户的信息管理，主要包括用户的功能角色归属和基本的用户信息的维护。

　功能特色

　支持估值文件多种接收方式

　系统除了支持对托管行数据深证通工具软件或FTP等传输方式外，也可通过邮件接收的方式进行挪动。只需要每一个托管行配置一个的邮箱地址，就可以实时将估值文件从邮件中接收下来分发到估值挪动的处理源目录，并且按照估值挪动处理流程自动实现数据文件的规整处理。

　支持估值文件的自动回溯处理

　针对各托管行的数据有些是采用文件（MDB\Excel\CSV\TXT）方式提供，具有数据格式多种多样并且到达时间不确定等特殊性。平台提供了支持规则从文件中按照规则过滤和提取数据的功能，并且自动扫描文件到达情况，产生用于回溯处理的信号量触发后续数据处理流程，有效解决该类数据的采集处理的特殊需求。

　支持估值数据的账户自动识别功能

　系统提供了账户代码（组合代码）与数据文件中关键字段或单元的匹配机制，可以自动通过读取文件数据识别对应的组合归属关系。

　支持估值数据的日期自动识别功能

　系统提供了业务日期与数据文件中关键字段或单元的匹配机制，可以自动通过读取文件数据识别对应的业务日期的归属关系。

　部署方案

　网络架构图

　软硬件要求

　软件环境

　软件

　说明

　服务器端

　Windows x64

　数据库服务器操作系统（建议使用64位操作系统oracle才可支持超过2g以上的内存）

　Oracle11g

　数据库软件

　Windows x64

　应用服务器操作系统（建议使用64位操作系统应用中间件性能更好）

　Tomcat 6.0

　应用中间件

　客户端

　Window 7或Window Xp

　桌面操作系统

　Internet Explorer IE 8.0及以上

　浏览器

　硬件清单

　硬件

　数量

　备注

　数据库服务器

　PCServer

　8G以上内存 2*2.4G CPU

　500G硬盘

　1

　500G可用空间(存储文件和日志文件)

　应用服务器（WEB）

　PCServer

　8G以上内存 2*2.4

　500G硬盘

　1

　2T磁盘空间（用于存放数据文件）