某特钢企业MES系统多源异构数据采集架构设计与应用

盛 刚，李 勇，张效华

（冶金自动化研究设计院有限公司，北京 100076）

某特钢企业在建设MES 系统过程中需要集中将不同源的数据进行采集，统一集中后，按照需求供给不同的应用系统使用，实现数据自动集中采集，统一供给，降低数据落地和人为干预，为后续MES 系统的应用打下坚实的基础。

由于该企业产能小（年产能不到2 万吨），设备数量少，所以在MES 系统实施过程中并没有按照严格的钢铁企业5层架构（一级PCS 层、二级自动控制、三级MES 系统、四级ERP 层、五层商业智能）进行设计和实施，而是直接实施MES 系统，先提升企业生产管理水平，拉通企业产品生产过程信息化，然后再完善一级和二级。所以在实施过程中三级MES 系统充当了很多二级系统功能（传统方案是二级为三级提供数据，只需和二级进行通讯即可），需要采集底层不同源的数据为MES 系统统计和决策提供支持。

MES 系统采集的数据分布在MES 系统、应用系统、网关、仪器仪表、文件等不同的数据源中，且各数据源的数据交换协议也不相同，设计PLC、OPC、MODBUS、104、102 智能电表协议、应用系统并通过数据库完成数据交换[1-3]。本文在开发了一两个数据采集接口后，发现数据采集程序有一些通用的代码，包括数据链接、协议转换、读取数据、数据转换、数据存储等共同的模块，其中数据链接和协议转换是所有的接口中不同的部分。系统通过抽象，设计了一套通用的多源异构的数据采集架构。该架构通过对采集链接和采集协议的可配置性和可扩展性，实现多协议的适配性，提高了数据采集的效率。

1.1 数据的多源性

MES 系统是特钢企业信息化的基石。MES 系统通过联通ERP 系统将销售订单转换为生产订单并分解为各工序的生产计划，通过跟踪生产计划、物流运输、原料库存、能源消耗，产品质量等信息完成对整个生产的管控。所以，在MES 系统实施过程中需要集成订单信息、工艺信息、能源信息、设备信息、质量信息、原料库存信息、生产过程信息和物流信息。这些信息数据源分布在不同的系统中，MES 系统在集成过程中需要与这些数据源通信，才能将这些数据集成到MES 系统中，使MES 系统完成对生产计划的跟踪和管控。具体数据源和传输协议见表1。

表1 MES系统采集数据多源性Table 1 Multi source of data collected by MES system

本文在MES 系统落地实施过程中，MES 系统需要与参与特钢生产的各工段、车间和分厂中各种信息系统对接。

其中，对于工段需要集成该工段二级系统中的信号，例如设备事件信号中的启动和结束来判断作业是否开始或者结束。此类信息，以Socket 报文信息对外提供信号，或者是直接对接设备控制系统PLC、DCS 系统进行事件类的信号采集；
对于某些特殊设备未进行标准化，以串口的形式对外提供信号，如工段中使用天车秤、煤气表或者水表等老设备，对外的接口一般以串口的形式与外围系统进行对接。

对于车间，一般由二级管理系统主要管理整个车间的生产任务执行情况。MES 系统要向二级管理系统下发任务，此类信息可以通过数据库的形式或者Web Api、Web Service的形式进行数据传递。

对于厂级间信号传递，在MES 系统建设过程中遇到了两个分厂产线间传递原料信息，需要在原料系统中记录原料表面质量信息，然后将原料的表面质量信息传递给MES系统中的质量模块。此过程中涉及了图片信息的传输，通过Web Api 的形式进行文件信息传递。

MES 系统的成功除了要集成各类系统信息，还需要集成其他业务系统的信息，用来实现对整个生产的管理。同时，MES 系统只负责企业的生产管理，其他业务需要在其他系统中体现，也需要MES 系统为其他系统提供接口，将MES 系统的信息发送给目标系统。例如，将MES 系统的生产任务统计信息发给4 级系统ERP 中，在ERP 系统中实现生产成本信息的核算。

1.2 数据的异构性

异构数据（Heterogeneous Data）广义上是指数据结构、存取方式、形式不一样的多种数据。在本次项目实施过程中主要为3 种数据：时序数据、业务数据、非结构化数据。

时序数据指数据的产生按照时间的顺序产生，一般主要是设备工艺参数（生产过程中产生）和仪器仪表的计量数据。此类数据具备一定的时序性，数据的主要结构为数据唯一标识、数据产生的时间、数据的值。

业务数据，指业务过程的描述信息。如生产计划，描述了产品生产起始结束时间、所需设备、原料等资源信息。

非结构化数据，指一些无法结构化数据。如图片信息等，在本次项目中主要是指图片信息、文件信息，例如物料的质量图片信息、工艺标准、生产过程参数以及文件存储的文件信息。

其中，对于本文特钢MES 系统中，业务数据是数据量最大的种类；
其次是时序数据，最后是非结构化的数据。业务数据涵盖了生产计划、作业计划、检修计划、生产实绩、能源实绩、原料信息、产品信息、工艺过程信息、产品质量信息、工艺标准信息、产品质量等信息。而时序数据，主要为生产过程中的生产工艺参数，如产品生产过程中环境的温度、湿度、设备的电流和电压信息，产品实时的物理信息，如长度、重量、温度等变化信息。而非结构的数据，一般为复杂工况识别需要的图片信息，产品表面质量、产品低倍组织信息，这些图片需要进行保存分析。还有一些流媒体的信息，如生产过程中的视频监控信息——电炉中电弧图像信息有非常重要的价值，目前只能存在设备中，MES 系统需要对这些图片进行分门别类地存储，为MES 系统质量分析提供支持。

通过对数据源数据、数据接口协议以及对数据本身的采集要求（采集频率）的特点分析，整个数据采集的过程可以分为外围数据源注册、数据源的链接、数据读取、协议解析和数据转换和转发、数据存储6 个过程。其中，由于数据源不同导致协议解析和数据转换和转发不同，此部分根据软件设计思想可以以插件的方式进行设计，方便后续针对不同源不同协议数据源进行扩展。

2.1 多源异构数据采集系统架构

根据数据采集过程的划分，构建整个数据采集架构模型如图1。整个架构分为3 部分，从下到上依次是驱动配置、驱动管理和驱动调用。其中，驱动配置用于整个驱动的形成，包括数据源定义、通道配置、协议选择、数据采集配置（数据转换定义及采集规则的定义），配置完成后形成数据采集驱动。驱动管理主要负责对驱动的添加、测试、修改、删除和保存等操作，完成后将驱动形成数据库存储的模型存储在数据库中。驱动调用模块，由MES 系统在数据采集过程中通过驱动调用完成数据采集。图1中用圈中的数字标明数据采集驱动的配置顺序。

图1 数据采集架构Fig.1 Data acquisition architecture

2.2 多源异构数据采集引擎

完成了数据采集驱动配置之后，需要对数据采集驱动进行控制[5-8]。让系统通过驱动定时地扫描数据源后，根据采集驱动的定义将数据源的信息按照确定周期将确定要采集的数据采集到目标系统中。如图2所示，设计了数据采集引擎，通过在引擎启动过程中将已经配置好的数据驱动读到系统内存中，形成数据采集队列。由程序控制数据源队列的出队，并判断是否可以下一次采集，判断方法为根据不同的数据选择不同判断算法，判断算法以程序接口或者动态链接库的形式存在数据库中，由程序在使用过程中进行调用。

图2 数据采集引擎Fig.2 Data acquisition engine

对实时数据的采集根据数据直接进行轮训采集，对于业务数据需要根据业务系统的数据时间标志位进行判断是否是当前采集周期内的数据，对于历史数据（用于补采数据）也根据设置的采集范围进行数据采集，对于符合进入数据源缓冲队列开始采集数据，等采集完成后释放数据源，重新进入数据源队列进行下一轮的数据采集。

2.3 多源异构数据采集系统特点

该系统具备集中统一采集不同数据源的数据，通过配置的方式完成了不同的数据源的数据采集驱动配置，通过数据采集引擎定周期自动完成对各个系统的数据采集工作。

系统具备驱动的可扩展性，后续可通过添加驱动的形式在其他模块不用改动的情况下即可完成数据采集。

此外，随着系统驱动积累的越来越多，项目中涉及数据采集的工作时，由于系统中已积累了很多驱动，项目实施人员只需对系统进行配置，即选择数据源、配置链接方式和数据转换方式后存储成驱动，系统就可以自动对目标数据源的数据进行采集，所以后续工程效率会逐渐增大。而且随着软件多次使用，软件的质量也因为驱动种类多带来系统测试多，软件质量也会提升。

针对特钢企业需求，聚焦生产制造环节信息的打通，通过设备技术改造、产品工艺优化、设备自动化升级和信息化系统建设提升企业精益化管理水平，提高产线自动化控制水平，实现销产衔接，降本增效，节能减排。通过MES 系统的建设，实现销产转换、生产计划和作业计划编制、产线调度、质量控制、物流跟踪和质量追溯、能源管理等完整功能，实现该特钢企业钢铁的网络化、智能化生产。

在MES 系统实施过程中，为实现以上该特钢企业智能管控功能，需要采集数采网关的自动化设备（PLC、仪器仪表）数据，NC 系统的数据，能源管理系统、质量管理系统、检化验系统、物流跟踪系统、炼钢二级、锻钢二级、连轧二级等系统数据。

通过使用数据采集系统实现在系统中通过配置数据采集驱动，完成以上数据的采集。数据采集系统，完成43 套采集网关的数据采集；
业务系统采集3 个，ERP 系统、检化验系统和原料库存系统；
计量设备天成吊钩秤27 套，工艺参数实时文件1 个，视频流2 个。

采集系统累计完成实时信号8000 多点，业务数据表20多个，工艺文件1 个，视频监控接入到了系统中实现打开即可看到。实时数据每秒中读取1 次，业务表每分钟读取1 次，工艺文件每30 分钟读取1 次。目前系统运行1年多，未出现任何问题。

MES 系统在定时采集各种数据源数据的同时，它自身也可作为数据源通过采集系统的配置反向地将数据发送给指定系统中。本项目中MES 系统通过数据采集系统，将MES 系统中计划信息、工艺标准、质量标准信息、作业标准信息发给二级系统，指导二级系统生产；
同时将MES 系统汇聚统计的数据利用数据采集系统发送给ERP 系统，用于统计生产成本和公司其他财务核算。

特钢现场MES 系统在实施过程中，由于需要集成各类系统的数据，在集成过程中因提供数据源的各种系统的接口方式、数据格式和传输协议的不同，呈现出多源、异构的特点。因此，考虑到系统的后续推广应用，通过对各种数据采集接口进行对比分析，设计了一种多源异构数据采集架构和数据采集引擎，将数据采集过程以插件的形式进行设计，实现了使用一个系统完成多种数据源数据的交换工作，通过MES 系统的使用完成了多数据源的单向和双向通讯，系统可扩展性强，具有良好的可复用性，避免了适应不同的系统而开发不同的接口，应用效果优秀，实现了特钢MES 系统的业务要求。