基于目标检测的北方河道非法采砂智能监管应用研究

蔺志刚，刘瑾程，尤林奇，柳晴晓龙

（黄河勘测规划设计研究院有限公司，河南 郑州 450003）

当前河长制正在由实践探索阶段向常态化、规范化、精细化的高质量发展方向迈进［1］，非法采砂监管是全面贯彻实施河长制的重难点工作。北方河流多为季节性河流，年内、年际径流量变化较大，洪水挟带泥沙进入河道。然而，蓄水工程将大部分泥沙拦蓄在库区内，造成下游河道泥沙补给量减小，非法采砂会对河道河势稳定、防洪安全、生态环境造成不可逆的影响［2］，因此推进北方河道非法采砂监管工作十分必要。北方河道非法采砂多为旱采方式［2］，采砂设备以长臂钩机、装载机和运输车辆为主，采砂点位变动性强、采砂行为隐蔽且常出现于夜间，传统的人工巡检方式存在取证难、工作效率低等问题，难以进行有效监管，亟须利用信息化方式强化非法采砂监管工作。

目前南方部分地区采用视频监控［3］、无人机［4］辅助人工巡检或使用GPS定位设备、智能跟踪算法、图像识别算法等对采砂船进行自动监管［5－6］，针对河道重点位置开发自动监管系统，应用效果显著。近年来，在北方各大流域的骨干行洪河道建设高点位河湖视频监控设备，初步实现了河湖视频监控全覆盖，但高点位视频监控设备采用高变倍球形摄像机，单点覆盖范围广、各监控点位的画面差异大，基于人工设计提取器的传统图像识别方法已无法适配高点位视频监控。目标检测算法主要对输入图像的目标物进行识别与定位，与传统图像识别方法相比，基于深度学习的目标检测算法的准确率、泛化率更高，在水利、交通等行业应用实例更多、应用效果更显著［7］。汤文华等［5］在南方河道非法采砂监管中使用基于深度学习的Yolo V3目标检测算法及智能追踪技术对禁采区内采砂船的疑似采砂行为进行自动检测与识别，提高了河道非法采砂监管效率。黄继鹏等［8］提出一种面向图像中覆盖区域较小的一类目标（小目标）的多尺度Faster－RCNN目标检测算法，提升了对小目标检测的精度。陈娜等［3］运用面向小目标的多尺度Faster－RCNN目标检测算法，提出基于智能视频监控系统的河湖四乱巡检技术方案，提高了河湖四乱监管的工作效率。综上，基于深度学习的目标检测算法在非法采砂监管中已有局部应用，但因南北方采砂监管对象存在差异，以上技术无法直接在北方推广应用。

针对北方河道非法采砂行为特点及监管需求，本文开展视频监控自动巡检集成以及基于深度学习的非法采砂自动识别技术研究，实现对禁采区非法采砂行为的自动检测，辅助水行政执法人员进行非法采砂监管工作。

利用高点位河湖视频监控设备的回传画面建立一套基于目标检测算法的北方河道非法采砂智能监管系统，实现视频基础服务、图像资源库、算法模型管理、非法采砂识别以及业务监管功能，系统功能结构见图1。

图1 系统功能结构

2.1 软件设计

系统软件采用前后端分离B／S架构，前端为Vue、后端为SpringMVC开发框架，数据库采用具有空间数据存储管理功能的PostgreSQL数据库，GIS平台采用超图WebGIS平台，目标检测算法采用PaddleDetection开发框架。系统各功能模块的具体设计如下：

（1）视频基础服务。通过WebAPI开发方式集成视频监控设备厂商提供的功能接口，实现前端视频监控设备接入、视频转发以及图像切片等基础功能，通过预置位巡航实现视频监控自动巡检功能。

（2）图像资源库。样本数据集的数量与质量是影响算法准确率的关键因素，高点位视频监控设备的焦变比、云台变幅大，同时受监控时段、气候的影响，各监控点位间画面差异大。为提高算法准确率，基于Pad⁃dleDetection开发框架创建图像半自动标注、图像数据增强、样本仓库管理以及数据分组功能，建立点位关联的图像资源库，进而实现算法逐点位的适配优化。

（3）算法模型管理。通过把样本数据载入图像资源库结合PaddleDetection开发框架实现算法模型的训练、评估、迭代优化、发布预测功能，为非法采砂识别提供模型预测接口。

（4）非法采砂识别。识别接口载入自动巡检产生的图像切片数据，调用模型预测接口对非法采砂特征物（长臂钩机、装载机和运输车）进行识别，根据监控设备状态信息（方位角、俯仰角、画面焦段等）以及安装信息（安装高度、经纬度等）获得特征物位置信息，在GIS地图中对特征物进行定位显示，同时通过创建样本反馈功能为图像资源的样本仓库提供增量数据。

（5）业务监管。为水行政执法人员提供非法采砂告警核查、告警处置以及业务闭环管理功能。

2.2 硬件及网络设计

系统硬件由前端视频监控设备、后端服务器以及用户终端组成，其中：前端视频监控设备通过运营商专线或4G／5G无线接入后端机房，用户使用电脑客户端（PC端）、移动终端等访问系统；
后端服务器包含应用服务器、流媒体服务器、接入服务器以及GPU服务器等，为系统提供服务器硬件算力。系统硬件及网络结构见图2。

图2 硬件及网络结构

视频监控设备的选型应充分考虑非法采砂巡检需求，针对非法采砂点位变动性强、采砂行为隐蔽的情况，应选用具有云台功能的球形摄像机；
针对夜间非法采砂频发的点位，应选用具有热成像功能的摄像机，通过热成像画面识别夜间采砂车辆，以保证夜间巡检效果；
对于利用通信铁塔资源的高点位摄像机而言，应尽量选择高变焦比、防抖性能优越的摄像机，以扩大单台设备的巡检覆盖范围、减少点位、降低巡检成本。此外，根据视频监控设备数量、用户并发访问量、非法采砂巡检频率以及视频监控画面的历史数据存储时限等确定后端服务器中各类服务器的数量。

3.1 视频监控自动巡检

流域管理部门公布的相关河道采砂管理规划对禁采区、可采区和保留区做出了明确规定，根据河道采砂管理规划确定非法采砂监管时间及监管范围，在监管范围内筛选可用的高点位视频监控。高点位视频监控覆盖半径为2 km，巡检路径多样，须提前规划巡检路径，确保巡检范围不遗漏、不重复。当巡检区域为狭长形时巡检路径应自上游向下游，当巡检区域为面状时巡检路径应由外向内逆时针旋转，直至覆盖全部待检区域［3］。通过监控设备的预置位巡航功能实现视频监控自动巡检，预置位宜选择在易发生非法采砂点位、河道与建筑物交叉处或水工建筑物布置处等关键位置，巡检过程中设备变焦倍数以可能出现的目标在画面中所占像素不低于80×80的要求来确定。

北方旱采常采用长臂钩机、装载机和运输车三类机械设备组合采砂，把三类机械设备定义为旱采特征物，单处采砂时间为2 h以上，把巡检频率定义为每2 h检测1次，巡检结束后回传巡检周期内的全部图像画面，采用目标检测算法识别画面中是否存在旱采特征物，若存在则标识为疑似非法采砂行为。

3.2 半自动图像标注机制与资源库建立

不同点位的视频监控画面差异很大，为提高算法准确率，建立与点位关联的图像资源库，通过半自动图像标注机制辅助人工标注样本。以现有的旱采特征物公开数据集为基础，使用LabelImg标注样本数据，汇总形成预训练集，经面向小目标的多尺度Faster－RCNN目标检测算法［8］训练后形成预训练模型，使用该模型预测视频监控画面，获得初步预测结果，随后人工对预测结果进行调整，实现半自动标注并将样本存储至资源库中，由资源库统一管理非法采砂样本资源。在半自动图像标注机制的辅助下，样本会随着系统运行不断积累，算法训练集的数量不断增加、质量不断提高，进而提高算法的准确率。

3.3 基于Faster－RCNN目标检测算法的非法采砂识别技术

利用基于深度学习的目标检测算法对监控画面中旱采特征物进行识别定位，高点位视频监控设备安装高度通常为30 m，监控画面范围大，而待检测目标通常为小目标，因此引入面向小目标的多尺度Faster－RCNN目标检测算法，此算法高度契合非法采砂巡检需求，算法结构见图3。

图3 面向小目标的多尺度Faster－RCNN目标检测算法结构

以待检测目标长臂钩机为例，简述算法实施情况。预训练模型中采用经ImageNet预训练的VGG16网络提取图像特征，设置长臂钩机候选框长宽比分别为0.6、1.0、1.2，其余参数设置与文献［8］保持一致，提取训练样本中的图像特征进行训练。

Faster－RCNN目标检测算法采用多任务损失函数训练检测网络：

式中：L为多任务损失函数；
ti为预测区域包围盒的参数化坐标；
pi为候选框命中目标的概率为选取的候选框目标对应样本的所属标签，当候选框中的目标为正样本时取1，当候选框中的目标为负样本时取0；
为真实区域包围盒的参数化坐标；
λ为权重函数；
i为小批量候选框的索引；
Ncls、Nreg为归一化参数；
Lcls为分类损失函数；
Lreg为位置损失函数；
R为鲁棒性损失函数；
x为候选框中心横坐标。

使用准确率Precision和召回率Recall对训练后的模型进行评估，计算公式如下：

式中：Tp为正确检测到目标的数量；
Fp为检测目标有误的数量；
Fn为未检测到目标的数量。

3.4 非法采砂监管

采用目标检测算法检测到视频画面中存在旱采特征物时，系统自动截取图片和视频片段，根据此刻监控设备状态信息和安装信息获得旱采特征物的定位信息，固定疑似非法采砂证据。通过GIS空间分析技术判断旱采特征物与禁采区的位置关系，当旱采特征物位置在禁采区内时系统自动触发非法采砂告警行为，人工核查确认非法采砂行为属实后，向水行政执法人员推送告警信息及证据，水行政执法人员完成非法采砂闭环处置工作，人工核查确认的结果也会作为算法的样本数据反馈存储至系统图像资源库中。非法采砂监管业务流程见图4。

图4 非法采砂监管业务流程

以北方迁安市非法采砂监管为例，对河道非法采砂智能监管系统应用情况进行分析。目前该市已建立覆盖全域重点河流的高点位河湖视频监控设备，在该市西北界河附近常年流窜着多个非法采砂团伙，盗采行为对河道河势稳定、防洪安全及生态环境造成了严重影响。

4.1 系统应用情况

结合非法采砂巡检需求、已建视频监控的分布情况及可视情况，对于盗采现象最严重区域，系统接入31台前端视频监控设备，辅助人工进行河道管理面积为57 km2的非法采砂巡检工作。系统后端服务器集中部署于市政务云，使用5台虚拟服务器，硬件资源共94个CPU核心，内存为320 GB，存储空间为2 T，NVIDIA T4 GPU计算卡2张，服务器操作系统为Centos7.6操作系统，视频监控基础平台为海康Infovision NREE－iWR 3.0，用户通过运营商专线和互联网访问系统，系统运行条件满足等保2.0三级要求。

4.2 算法识别情况

算法所需的样本集由两部分组成：一部分是图像资源库中存储的视频监控回传样本图像（见图5（a）），共837张；
另一部分取自旱采特征物相关的ImageNet公开数据集（见图5（b）），共600张。使用LabelImg工具对数据集进行标注，以Pascal VOC2007格式将标注信息存储到xml文件中。使用平移、增加噪声、镜像等图像处理方法扩充样本集，最终将样本扩充到2 600个，其中有2 400个 训 练 样 本，200个 测 试 样 本。使 用PaddleDetection开发框架对算法进行训练、评估、部署，训练迭代轮数（Epoch）、学习率（Learning Rate）、批大小（Batch Size）分别设置为22、0.002 5、5。

图5 算法样本集

在当前训练样本情况下目标检测算法对测试样本中旱采特征物的综合检测精度为61.5%。系统上线运行后目标正样本持续积累，训练样本数量增加，检测精度持续提高。图6为在河道管理范围内白天、夜间识别到的非法取土、采砂行为。

图6 非法采砂识别算法效果

4.3 算法应用情况

根据非法采砂巡检规则，每2 h对禁采区执行1次巡检，识别巡检路径上的旱采特征物，并将疑似非法采砂行为推送人工核查，确认非法采砂行为属实后触发非法采砂处置流程。截至目前，系统已检测到非法采砂行为20余次，水行政执法人员发起非法采砂处置流程并处理相关问题10余次，与人工巡河相比，该系统扩大了巡检范围、增加了巡检频次、提高了巡检工作效率。系统检测到非法采砂行为后的告警页面见图7。

图7 非法采砂行为告警页面

本文针对北方河道非法采砂行为特点及监管需求，开展了视频监控自动巡检集成和非法采砂自动识别技术研究，研发了基于目标检测算法的北方河道非法采砂智能监管系统。以北方迁安市试点应用情况为例，验证了该系统的有效性，实现了基于深度学习的目标检测算法在北方非法采砂监管中的应用。与人工巡河相比，本文技术方案在巡检范围、巡检频次等方面均有明显提升，但仍存在以下不足：当告警现场环境发生较大变化时，若业务人员对上次告警现象处置不及时，系统可能将其识别为一项新的告警，存在重复告警现象。在后续工作中，将对该问题进行优化处理，并及时督促业务人员处理告警现象，避免重复告警现象出现。