基于嵌入式技术的煤矿井下通信中图像信号处理方法

张辰宇

(国家能源集团乌海能源公司，内蒙古 乌海 016000)

煤矿井下监控是煤炭企业安全管控的重中之重，但矿井内巷道较深与地面距离较远[1]，为其安全管控带来了一定难度。当代通讯技术的不断发展，使煤矿矿井内逐步被通信网络覆盖，使监控设备遍布整个矿井开采工作面内，为煤矿安全管控提供了有效手段，但煤矿井下监控视频图像受其拍摄环境以及传输条件影响，其视频图像信号内存在大量的干扰噪声导致图像信号缺失[2-3]，其呈现的视频监控画面不够真实。针对该类问题，董本志等和田子建等分别提出了图像信号出路算法，前者利用小波阈算法对煤矿井下视频图像进行重建处理[4]，以提升其整体分辨率，后者对煤矿井下视频图像进行双域分解，然后利用二阶微分算子去除分解后的煤矿井下视频图像内所含噪声[5]，达到其图像信号处理目的。但这2种方法在实际应用中受图像一维离散信号和相似性影响，效果不佳。

嵌入式技术是将某些装置或者设备以嵌入的形式连接到嵌入式控制面板内的技术[6-7]，其可使终端用户在不变更固态硬件情况下扩展终端功能。目前嵌入式技术被广泛应用在手机、电子元件开发等多个领域。在此将嵌入式技术应用到煤矿井下通信中图像信号处理过程中，提出基于嵌入技术的煤矿井下通信中图像信号处理方法，为煤炭企业安全生产管控提供技术支持。

1.1 图像信号处理技术架构

FPGA(可编程逻辑阵列)具备丰富的布线资源，其内置嵌入式RAM、硬核以及可配置逻辑块等[8]，其可处理数量较大的图像采集、展示、存储和图像传输等操作。DSP(信号处理)芯片内置数字信号处理算法，其负责对数字信号进行压缩感知、高分辨率重建等操作[9]。在此本文使用FPGA和DSP嵌入式芯片，设计煤矿井下通信中图像信号处理方法技术架构，如图1所示。

图1 井下通信中图像信号处理技术架构Fig.1 Technical framework of image signal processing method in underground communication

1.2 图像信号处理流程

在煤矿井下通信中图像信号处理方法技术架构内，利用图像采集单元采集煤矿井下视频图像信号后，将其传输到嵌入式FPGA芯片内，FPGA芯片将接收到的煤矿井下视频图像信号缓存在SDRAM内。

FPGA芯片同时将煤矿井下视频图像信号经由双口RAM传输到DSP芯片内，该芯片通过启动图像信号处理单元内的图像信号处理算法对煤矿井下视频图像信号进行压缩感知、高分辨率重建等操作后，将其传输到SDRAM内进行缓存，然后利用FLASH视频模块进行对处理后的煤矿井下视频图像信号进行动态编辑后，经由双口RAM回传到FPGA芯片内。

FPGA芯片将处理后的煤矿井下视频图像信号存储到数据存储SD卡和帧存SDRAM内后，控制视频D/A转换器输出视频图像VGA信号，为用户展示当前处理后矿井下视频图像。

2.1 煤矿井下视频图像采集设备

煤矿井下视频图像采集单元是实现其图像信号处理的基础。使用CCD摄像头、视频解码芯片和FPGA芯片共同协作实现煤矿井下视频图像采集。煤矿井下视频图像采集单元结构如图2所示。

图2 煤矿井下视频图像采集单元结构示意Fig.2 Structure diagram of underground video image acquisition unit in mine

2.2 嵌入式硬件设备硬件选择

FPGA、双口RAM、DSP以及CCD摄像头和视频解码芯片均为本文重要嵌入式硬件设备，不同型号的嵌入式硬件设备应用功能上存在一定差异[10-12]，因此嵌入式硬件设备选型极为重要。

2.2.1 FPGA选择

FPGA选择EP2C70F896C6N，该FPGA运行电压为1.2 V，具备高密度的逻辑单元和7万个左右的LE(载入允许功能)，内置嵌入式RAM、512个校验位和4 096位内存块。该FPGA支持读写双端口，具备嵌入式乘法器[13]，以及若干个高级通用I/O端口。其始终管理电路的局部时钟网络传输接近400 MHz，4个锁相环为FPGA提供时钟分频、相移等功能。

2.2.2 RAM选择

双口RAM选择CYPRESS公司生产的CY7C026型，该双口RAM为静态RAM，其存取信息速度不超过25 ns，支持同时存、取数据信息[14-15]。双口RAM的2个端口对应独立的控制线、数据传输线以及数据传输地址，通过2个端口可实现该芯片内的信息共享。

2.2.3 DSP芯片选择

DSP芯片是图像信号处理的主要芯片，在此选择TMS320VC550型号芯片作为本文应用的主要芯片。该型号芯片价格较低廉[16]，其是该类芯片内功耗最低的DSP芯片，运行功耗仅为200 mW。在该DSP芯片上，其指令高速缓存容量为16 KB，该芯片嵌入的DARAM总容量高达64 KB，ROM则为34 KB。其嵌入2个运算逻辑短语以及若干条数据读总线和写总线，在其指令周期内可运行2次信息的读写操作。其外部并行总线数量为32位，向外传输信息速度较快。

2.2.4 CCD摄像头选择

CCD摄像头型号为Y-HM750E，该摄像头总像素和动态有效像素均为660万，内置3CCD传感器和VC高速图像处理器，拍摄视频格式为MOV/MPEG-4 AVC/H.264，其拍摄视频图像高清规格为1080P。视频解码芯片选择型号为TVP5150，该型号的视频解码芯片具备通用接口，可与不同型号的DSP、FPGA相连，其通过FPGA内的I2C总线控制其复位(初始化)，内嵌多个通用的预留地质数据等接口[17]，负责将图像转换为数字量。

3.1 煤矿井下视频图像采集过程

煤矿井下视频图像采集单元使用CCD摄像头拍摄矿井下视频图像后，将其发送到视频解码芯片内，FPGA芯片利用I2C控制器对视频解码芯片进行初始化后，利用视频解码芯片将煤矿井下视频图像解码为数字量(即A/D转换)，并将其传输到FPGA芯片的视频解码模块内，该模块对矿井下视频图像数字量信号进行解码处理，然后通过Avallon总线和SDRAM控制器将解码后的煤矿井下视频图像数字量信号保存到SDRAM帧缓冲器内进行缓存。上述过程即为煤矿井下视频图像采集单元采集煤矿井下视频图像信号过程。

3.2 信号处理流程

在嵌入式技术内，嵌入式软件设计是其不可或缺的组成部分，利用UC/OS-Ⅱ嵌入式操作系统，将图像信号算法进行模块化处理，然后通过启动函数调用程序[18]，实现煤矿井下视频图像信号的采集和处理，其详细过程如图3所示。

图3 井下视频图像信号处理功能流程示意Fig.3 Function flow diagram of video image signal processing in underground

煤矿井下视频图像信号处理流程在启动时，首先，对CCD摄像头进行初始化并设置其视频捕获和显示驱动相关参数后，控制器拍摄煤矿井下视频图像；
其次，对视频解码器进行初始化处理，将CCD摄像头拍摄的煤矿井下视频图像传输到初始化后的视频解码器内，该解码器对其进行数字量信号转换后，启动DSP调度程序，利用该程序调取视频解码器内煤矿井下视频图像数字量信号；
然后，启动图像信号压缩感知算法，对该数字量信号进行压缩感知后，使用基于非局部相似性的邻域嵌入超分辨率图像重建方法，对其进行重建处理；
最后，输出煤矿井下视频图像。

3.3 图像信号处理算法

煤矿井下视频图像信号处理共分为2步，首先利用图像压缩感知算法对其进行压缩感知处理，其次是对压缩后的图像信号进行重建，输出高分辨率的煤矿井下视频图像。

3.3.1 数字量信号压缩感知处理

煤矿井下视频图像经过视频解码器进行数字量转换后，其形成一维离散信号，在此使用分段处理的压缩感知算法对煤矿井下视频图像数字量信号进行转换，使其形成二维图像信号。令X表示原始的煤矿井下视频图像数字量信号，其数据大小为N=p×q，将该图像信号划分为若干个大小为B×B的子块，引入利用正交独立高斯分布矩阵，对第i个煤矿井下视频图像数字量子块进行变换后，即可将图像一维离散信号转换成二维图像块信号。

3.3.2 邻域嵌入超分辨率重建步骤

(1)以上一步压缩感知后的煤矿井下视频图像的二维图像信号为基础，首先对其进行去均值处理，以处理后的二维图像信号的像素值作为特征向量，建立煤矿井下视频图像块信号特征建立训练集。

(2)Ls、Hs表示低、高分辨率的特征图像块训练集，先对Ls按照大小为2×2进行分块操作。以其中l1小块为中心，与其相对应的8×8小块作为匹配块，使用搜索窗口方法对其进行检索后，获得2个图像块相对应的像素误差绝对值和后，以2个8×8图像块像素误差绝对值和最小值为基准，搜索到l1的相似图像块。

(3)对l1的相似图像块进行特征提取后得到与其相对应的特征向量并对其进行归一化处理。

(4)依据归一化后l1的相似图像块特征向量，计算其相似图像块的加权系数，再使用近邻搜索算法在Ls内搜索K个低分辨率的近邻图像块后，再从Hs内搜索K个与其对应的高分辨率图像块。

(5)计算K个低分辨率和高分辨率图像块的重建权值系数，然后对K个低分辨率和高分辨率图像块进行线性重组，即可得到具备高分辨率特征的煤矿井下视频图像块。

(6)将重建后的高分辨率煤矿井下高分辨率视频图像块输入到DSP芯片内，其经过FLASH视频模块动态编辑后，经过DSP芯片存储和传输到FPGA芯片内，通过视频D/A转换器输出到用户端。

将上述图像信号处理算法以自编程形式写入到嵌入式DSP芯片内，通过启动芯片驱动程序即可完成煤矿井下通信中图像信号处理过程。

以某大型煤矿矿井为实验对象，该矿井属于立井，内部有3条井筒，主井直径约为7 m，深度约为540 m。副井宽约为6.2 m，深度约为503 m。在该矿井内配置防爆轴流式通风机3台、有4条运输巷道，在运输巷道内有若干台煤炭运输车辆和传送台。该矿井内部结构较为复杂且巷道交错，为其煤炭开采安全管控增加了难度。应用本文方法对其视频监控图像进行采集和图像信号处理，为地面管控部门提供较为真实的煤矿井下作业现场情况。

4.1 煤矿井下视频图像信号采集

使用SignalTapⅡ(嵌入式逻辑分析仪)测试本文方法对煤矿井下视频图像信号采集能力。打开SignalTapⅡ软件后，对嵌入式FPGA控制图像采集单元采集煤矿井下视频图像信号并对该信号进行捕捉，判断本文方法的采集煤矿井下视频图像信号能力，结果如图4所示。

图4 井下视频图像信号采集测试结果Fig.4 Test results of video image signal acquisition

分析图4可知，本文方法利用FPGA嵌入式芯片控制CCD摄像机采集煤矿井下视频图像时的CCD_date、CCD_fval、CCD_mclk和CCD_dsat等传输波形均保持平直状态，并未发生中断情况，其说明本文方法在采集煤矿井下视频图像信号能力较好。

4.2 图像信号压缩感知测试

使用本文方法在不同下采样率情况下采集该煤矿井下视频图像后，对其进行分块压缩处理，以图像的峰值信噪比作为衡量指标，测试本文方法对煤矿井下视频图像信号的压缩感知能力，结果见表1。分析表1可知，应用本文方法对煤矿井下视频图像信号进行压缩感知处理后，在不同下采样率情况下图像信号的峰值信噪比数值均较原始图像得到了提升，其中采样率数值越高，其采集的煤矿井下图像信号进行压缩感知后的峰值信噪比数值越高。综上所述，本文方法可有效对煤矿井下视频图像信号进行压缩感知，提升视频图像信号的峰值信噪比数值，使视频图像信号内的噪声得到有效降低。

表1 视频图像压缩感知前后峰值信噪比Tab.1 Peak signal-to-noise ratio before and after compressed sensing of video image

4.3 煤矿井下视频图像超分辨率重建测试

以一组煤矿井下视频图像信号为实验对象，以图像像素密度作为衡量指标，使用本文方法对其进行超分辨率重建，分析本文方法对煤矿井下视频图像信号处理能力，结果如图5所示。

图5 井下视频图像超分辨率重建效果Fig.5 Super resolution reconstruction effect of underground video image

分析图5可知，煤矿井下视频图像的像素密度随着其图像块的增加而增加。其中在视频图像块为30个之前时，应用本文方法处理后的煤矿井下视频图像的像素密度与原始图像像素密度差值稍大，而随着图像块增加，二者之间像素密度差值逐渐降低。但在相同数量的图像块时，使用本文方法处理后的煤矿井下视频图像的像素密度数值始终较高。综上所述：本文方法应用后可有效提升煤矿井下视频图像的像素密度，使煤矿井下视频图像所呈现的细节更清晰，画面质感更佳。

4.4 图像信号处理能力测试

为更好地呈现本文方法对煤矿井下视频图像信号处理能力，以灰度直方图形式描述某组煤矿井下视频图像信号处理效果，结果如图6所示。

图6 井下视频图像信号处理前后灰度值Fig.6 Gray value before and after video image signal processing

分析图6可知，初始煤矿井下视频图像信号的灰度值稍小，其无法呈现煤矿井下画面特点。而经过本文方法对其信号进行处理后，在图像帧数相同时的图像信号灰度值均得到了较大的提升。在图像帧数为20时，处理后的图像信号灰度值由原来的48上升到了73。上述结果说明，应用本文方法对煤矿井下视频图像信号进行处理后，其灰度值得到增强，在实际应用中具备较好的应用效果。

本文研究基于嵌入技术的煤矿井下通信中图像信号处理方法，选择嵌入式FPGA芯片和DSP芯片作为控制芯片和处理芯片，使用该2种芯片共同协作控制图像采集单元采集煤矿井下视频图像信号，然后启动处理算法程序实现对煤矿井下通信图像信号的处理。实验结果表明，本文方法具备良好的煤矿井下视频图像采集能力、视频图像信号压缩感知能力和图像超高分辨率重建能力，其在煤矿开采管控中具备良好的应用效果。