基于虚拟现实与数字孪生技术的综采工作面直线度求解

闫泽文， 谢嘉成，3， 李素华， 沈卫东， 王怡荣， 王学文

（1. 太原理工大学 机械与运载工程学院，山西 太原 030024；
2. 煤矿综采装备山西省重点实验室，山西 太原 030024；
3. 新加坡国立大学 设计与工程学院，新加坡 119077）

国家八部委联合发布的《加快煤矿智能化发展的指导意见》中明确指出，应将新一代信息技术与煤炭行业深度融合，为煤矿智能化快速发展提质增效。综采工作面是煤矿智能化的核心场景，仍面临着装备连接关系复杂、全方位传感数据获取难度大、作业流程繁琐、难以在先验信息缺失的地质环境中整体协同推进、透明化地质保障技术精度不足等系列复杂技术难题亟待解决[1-4]。

直线度问题是综采工作面智能化建设的卡脖子问题之一，解决该问题的关键在于刮板输送机或者液压支架群的位姿获取。在获得装备精确位姿的基础上，可对综采工作面的直线度进行判断，在确定的调直基准下进行调直工作。刮板输送机位姿检测方法包括直接在中部槽电缆槽下方安装位姿传感器[5]、基于光纤光栅应变传感器[6]的直接测量方式及基于采煤机位姿反演的间接获取方式[7]，这些方法可较好地获得刮板输送机位姿信息，但由于传感器成本及装备结构问题，实现比较困难。液压支架位姿信息获取同样有较大难度，激光测距传感器[8]、架间行走机器人[9]、视觉和点云测量装备[10]等为液压支架位姿检测提供了新的解决方案，但是在目前条件下成本较高，且在井下恶劣环境中使用存在较大限制。

近年来，虚拟现实（Virtual Reality，VR）与数字孪生（Digital Twin，DT）技术在综采装备领域的应用发展探索[11-12]证明了两者不仅可以进行培训教学展示，还可为复杂装备的运行仿真与计算提供平台[13]。利用 VR 技术接入实时运行数据，进而构建综采工作面生产系统的实时DT 虚拟镜像已成为研究热点，对装备的动态配套关系、作业过程、运行态势和综采工作面三维地质模型等精准呈现正逐步成为工作面常规技术手段。葛世荣等[14]提出了DT 智采工作面的技术架构，并将其与工作面自主截割等技术相融相通，指出VR 技术是DT 技术应用的底层关键技术，为进一步实现两者的应用提供了顶层方案指导。毛善君等[15]提出了透明化矿山的概念、核心内容及构建透明化矿山需要遵循的5 个原则，为矿山的透明化远程管控提供了参考。任怀伟等[10]给出了智能开采“环境装备−仿真模拟−反向控制”运行体系下的智能决策过程，实现了虚拟仿真系统对工作面装备运行状态的实时监测和反向控制。张旭辉等[16]实现了掘进工作面物理空间与掘进信息虚拟空间的深度融合与交互，验证了DT 技术的应用可以解决工作面复杂问题。

笔者所在团队致力于VR 与DT 技术在综采工作面煤机装备智能化发展中的应用研究，已对综采工作面煤层与装备耦合模型[17]、虚实交互通道[18]、装备位姿监测[19]、分布式协同运行[20]、人机交互[21]、智能预测和反向控制[22]等关键技术进行了全面研究，建立了集仿真、感知、预测、决策与控制为一体的复杂综采工作面DT 系统。本文在此基础上，应用VR 与DT 技术求解综采工作面直线度问题，以期为综采工作面直线度问题提供新的解决方案。

基于VR 与DT 技术的综采工作面直线度求解主要分为机理解析、模型构建、融合推演、重构监测、预测控制5 个步骤，如图1 所示。根据物理场景中真实的地质模型与装备建立对应虚拟场景，建立集雷达、倾角传感器等于一体的DT 系统；
根据实时获得的传感数据及虚拟场景中得到的运行数据进行融合推演，实现虚拟监测；
在虚拟场景中对保证直线度所需的推移行程进行预测，并将其反馈至物理场景中进行直线度控制。

图1 基于VR 与DT 技术的综采工作面直线度求解框架Fig. 1 A framework for solving the straightness of fully mechanized working face based on VR and DT technology

1） 机理解析：依据物理综采工作面装备的运行机理，对装备结构视情简化，进一步对其运行机理进行分析。综采工作面“三机”运行过程中，综采支运装备相对位置关系分析的关键在于连接液压支架底座与刮板输送机的浮动连接机构，本文根据浮动连接机构的运动特性将其简化为机器人模型[23]，进行正逆向运动解析。

2） 模型构建：以理论分析结果为基础构建虚拟应用模型，进而描述实际运行过程。本文通过对浮动连接机构机器人模型正向解析，依据真实的煤层环境[24]，在Unity3D 中建立基于关节的综采支运装备运动仿真模型，构建VR 场景，实现虚实映射。

3） 融合推演：在VR 技术应用过程中，原始获得的传感数据往往不能满足解决复杂问题的需求，需要加入非接触式的视觉传感器来增强信息，提供更高精度的虚实映射数据。本文加入非接触式传感器，利用浮动连接机构机器人模型正向解析，实现综采支运装备位姿检测。

4） 重构监测：在完成虚拟仿真系统搭建后，利用虚实交互技术，联合真实的物理场景构建DT 系统，实现对综采工作面的虚拟监测。本文通过构建综采支运装备DT 系统，实现对样机系统的虚拟监测。

5） 预测控制：根据监测数据及推演结果，实现对真实综采装备的控制，解决实际问题。本文通过虚拟推演预测推溜移架过程中刮板输送机的推移量，指导综采装备的调直，解决直线度问题。

2.1 机理解析

2.1.1 浮动连接机构模型简化

浮动连接机构由推移油缸、推移杆和连接头等部件组成，如图2（a）所示。每个部件又含有多个自由度，其姿态受到多个因素影响。首先应考虑在推溜移架时连接头在销耳间隙的不同状态，为了便于研究，将其简化为推溜点和移架点2 个状态，如图2（b）所示。其次是忽略其他运动部件的间隙量，对浮动连接机构模型进行简化，便于虚拟场景的搭建。在液压支架推溜移架的过程中，将浮动连接机构简化为机器人模型进行研究，能够准确表达其各关节在空间中的运动量，实现对各部件的定量分析，如图2（c）所示。

图2 浮动连接机构简化Fig. 2 Simplification of floating connection mechanism

在分析浮动连接机构的机器人模型时，首先要建立D−H 坐标系，以区分不同关节的自由度。将液压支架的底座作为初始基准，连接头与刮板输送机的连接销轴作为机械手的末端关节执行机构，通过机器人运动学的正逆向解析，可以实现对刮板输送机与液压支架底座相对位姿的分析，为编辑Unity3D底层脚本与物理仿真提供参考。

2.1.2 浮动连接机构正逆向运动解析

根据活塞杆的伸长量、各部件随连接销轴的偏转角建立各关节的变换矩阵，再根据各部件的变换矩阵建立浮动连接机构综合变换矩阵，可以实现对综采支运装备相对位姿的定量分析。

但是，由于浮动连接机构运动的复杂性，在井下难以对其各部件实现精确测量，所以需要对转换得到的机器人模型进行逆向解析，确定关节变量。

浮动连接机构机器人模型正逆向运动解析的实现，为虚拟仿真过程中基于物理的浮动连接机构的搭建提供了理论基础。同时，针对浮动连接机构在井下移动随机性较强的特点，可以基于Unity3D 的物理仿真引擎来验证逆解过程中的最优解。

2.2 模型构建

实现虚拟仿真系统与实际开采过程深度结合、建立物理综采工作面高度映射的关键在于以下方面：首先需要建立仿真度较高的虚拟系统，在虚拟系统中，虚拟综采支运装备除了要符合真实装备的外形尺寸及各装备之间的配合关系外，还要融合浮动连接机构运动学模型，使仿真达到“形似”且“内在机理”与真实情况一致的水平。

2.2.1 虚拟装备及煤层3D 模型构建

在虚拟仿真系统中，煤层作为支撑整个仿真模型的运动基准，其精度决定了DT 系统数据的准确性。根据真实综采工作面地质探测数据，建立精度较高的初始煤层，在虚拟综采工作面装备运行过程中，根据采煤机的截割轨迹，应用插值算法对截割底板进行平滑处理，对初始煤层模型进行实时修正，保证虚拟装备的正常运行。对于综采支运装备的仿真，通过CAD，UG 等软件保证虚拟模型与实际工作面装备的结构和尺寸一致。

2.2.2 虚拟应用模型构建

建立反映液压支架、浮动连接机构与刮板输送机之间关系的装备模型（图3（a）），基于浮动连接机构机器人模型，在各部件间添加对应的关节类型（图3（b）），并依据真实场景，限制各关节的活动范围，保证运动过程能够模拟真实的物理状态。最后，利用C#编辑底层脚本，通过对推移油缸添加力来实现推溜和移架过程，使模型运动更加符合实际情况（图3（c））。

图3 虚拟应用模型构建Fig. 3 Construction of virtual application model

2.3 融合推演

2.3.1 非接触式视觉传感器技术

由于浮动连接机构需求解的未知参数较多，通过液压支架底座倾角传感器、推移行程传感器及采煤机反演获取刮板输送机的位姿。可引入非接触式的视觉传感器（如雷达和深度相机等）来获取装备之间的相对信息。将雷达安装在液压支架的电液控制器上，通过雷达点云图分析刮板输送机与液压支架底座间的相对位置关系。液压支架底座的姿态数据依靠液压支架倾角传感器与推移机构的行程传感器获得，刮板输送机位姿数据通过推移前采煤机反演得到。利用Matlab 仿真及浮动连接机构逆向运动学解析，实现对浮动连接机构姿态的初步求解。

2.3.2 虚拟传感器技术

通过物理空间中的雷达实现信息增强后，能获得浮动连接机构的初始信息，但由于信息准确度不高，仍可能出现无解情况。因此，本文借助DT 虚实融合的理念，在虚拟空间中构建物理空间传感器的数字孪生体，依靠虚拟应用模型的高保真度，通过虚实信息融合进一步求解浮动连接机构各关节。

以在虚拟仿真系统中引入虚拟雷达为例，利用RaycastHit 组件实现虚拟雷达的激光射线，通过碰撞监测获得与物理雷达测量结果一致的点云图。

2.3.3 虚实融合技术

通过对比及融合物理场景与虚拟场景中采集的数据及点云图，结合浮动连接机构正向运动学解析，在Matlab 中求解综采支运装备的相对位姿。为了模拟真实综采工作面信息采集环境，可以通过脚本为传感器加上噪声。同时，对Matlab 与Unity3D 进行双向耦合，实现对推移行程的准确计算，用于控制综采工作面直线度。

2.4 重构监测

针对综采支运装备位姿检测及调直问题，搭建综采支运装备的DT 系统，如图4 所示，具体包括物理样机系统、虚拟仿真系统及DT 检测系统。

图4 DT 系统Fig. 4 Digital twin system

2.4.1 物理样机系统

由于井下条件复杂，为了更好地模拟井下条件，根据综采工作面装备的协同运动关系，按照一定比例搭建物理样机系统，实现对真实综采工作面的运行模拟。搭建综采工作面样机，对综采支运装备调直过程进行模拟，可以有效提高分析效率，为综采工作面的直线度控制提供建设性意见。

为了保证虚实映射的准确度，要根据煤层的初始探测信息，按照同样的比例搭建样机煤层实验台，与虚拟环境中煤层形成映射，煤层的准确度直接影响虚实场景映射程度。基于真实液压支架底座的浮动连接机构模型，搭建样机推移模型，保证虚拟场景中的关节组件与样机场景中的结构能够一一对应，实现虚实场景运行过程的高度一致性。同时，可以模拟综采工作面调直过程易出现的各种问题，利用虚拟仿真平台进行调直预演。

2.4.2 虚拟仿真系统

虚拟仿真系统不仅可以反映真实的综采工作面，还可以实现数据监测与虚拟推演功能，在得到物理样机系统的综采支运装备位姿数据后，在虚拟仿真系统中实现煤层与装备运行状态重构。根据重构得到的装备位姿，利用虚拟数据系统分析直线度，控制虚拟综采支运装备推进，完成推演，再对其直线度进行评估。将数次推演结果传输至DT 系统中分析。

2.4.3 DT 检测系统

DT 检测系统对物理样机系统和虚拟仿真系统中综采支运装备的位姿数据、虚拟综采工作面的虚拟推演数据、煤层更新数据、装备直线度等数据进行收集和分析，驱动物理样机系统和虚拟仿真系统迭代运行及虚拟检测系统实时更新，将综采支运装备的直线度检测方法及调直程序编入数据系统底层，根据虚拟仿真系统推演得到的最优方案控制样机系统推移，从而实现直线度检测，解决运行过程中出现的直线度问题。

2.5 预测控制

2.5.1 调直原理

采用以刮板输送机为基准的综采工作面调直方法，即在保证刮板输送机直线度的前提下，对液压支架群的直线度进行调整。这样不仅可避免部分误差累计，还可保证调直过程的方向性。液压支架和刮板输送机的调直重点在于浮动连接机构的推移量控制。首先，获取重构的综采支运装备的状态，根据其直线度误差确定推移量，根据采煤机截割轨迹对底板进行修正，控制浮动连接机构完成刮板输送机的虚拟推演，液压支架按照获得的推移量进行刮板输送机直线度调整；
其次，对液压支架群进行直线度分析，通过精准控制推移量，实现液压支架群直线度控制，使虚拟场景中综采工作面的直线度符合要求。

2.5.2 调直架构

基于DT 系统的综采工作面调直架构如图5 所示。首先基于采煤机和传感器数据获得刮板输送机和液压支架的位姿信息，作为先验信息实现综采支运装备的虚拟重构，在虚拟仿真系统中完成直线度检测，解析出初始刮板输送机调直及后续液压支架群调直各自所需要的推移量。在虚拟推演过程中，根据DT 系统实时解算结果，结合非接触式传感器和煤层的实时修正信息，在虚拟场景中对推移量进行实时调整。经过推演后确定最优推移方案，指导真实场景中的推溜移架。

图5 基于DT 系统的综采工作面调直架构Fig. 5 Straightening architecture for fully mechanized working face based on DT system

在下一刀采煤机运行过程中，通过综采支运装备位姿信息对虚拟重构场景中的综采支运装备进行修正，以避免出现累计误差。

1） 提出融合VR 与DT 技术解决综采工作面直线度问题，搭建了综采工作面直线度求解框架，主要分为机理解析、模型构建、融合推演、重构监测、预测控制5 个步骤。

2） 指出综采支运装备相对位置关系分析的关键在于连接液压支架底座与刮板输送机的浮动连接机构，将浮动连接机构作为关键部件进行简化、建模和正逆向运动解析，构建VR 场景，结合非接触式视觉传感器、虚拟传感器、虚实融合等技术实现虚拟场景中的位姿重构，通过搭建综采支运装备的DT 系统，实现虚拟监测和预测控制。

3） VR 与DT 技术的应用能够解决综采工作面直线度问题，为解决综采工作面其他实际应用难题提供解决思路，为煤炭行业智能化发展提供支持。本文研究仍存在部分不足，下一步研究主要集中在以下方面：① 加强实验论证，验证物理综采工作面调直完成后的直线度与虚拟综采工作面推演结果的一致性。② 提高虚拟综采工作面与物理场景信息交互的时效性。③ 进一步探索虚拟环境中液压支架与刮板输送机位姿的准确求解方法。