高速公路视频事件检测分析系统的研发及应用

李玉环，胡翠云，钟建斌

（广东飞达交通工程有限公司，广东 广州 510663）

2019年9月，为推进交通强国建设目标，中共中央、国务院印发实施《交通强国建设纲要》指出推动人工智能技术与交通行业深度融合、完善交通安全生产体系、强化交通应急救援能力。而传统的高速公路视频监控发现事件的方式主要靠监控员人工巡检方式进行，存在监控设备繁多导致漏检、错检、事件发现不及时、人工巡检效率低下等问题。所以急需要一套能够自动、高效、及时发现事件的智能化AI视频事件检测系统，本研究就是基于国家政策背景及行业痛点立项研发的。

研发整体解决方案以实时检测、分析识别、实时告警、紧急处置的闭环流程作为设计思路：通过高速公路的监控摄像机实时采集路面、隧道、桥梁、服务区、收费站等场景的视频信号，通过人工智能技术对海量视频信号进行分析识别，经过大量的深度学习和模型训练识别出事件的类别，根据事件类别采取不同的处置方案[1]。整个闭环流程做到实时检测、自动识别、智能化处置，如图1所示。

图1 闭环流程图

2.1 逻辑架构

逻辑架构包含基础设施层、采集层、数据层、支撑层、应用层五层。如图2所示。

图2 系统逻辑架构图

具体内容有：

（1）基础设施层。提供视频事件分析系统正常运行的基础网络、存储、服务器、操作系统、数据库等系统软硬件基础设施环境。

（2）采集层。提供视频流接入，通过人工智能分析技术，产生路段交通参数、事件监测等高速路段实时运行数据。

（3）数据层。平台数据资源层，以数据库、数据集成、数据分析、内存数据库技术为基础，包含数据资源（结构化和非结构化数据）和数据缓存，为支撑层提供数据交换、传输、共享、计算、加工存储体系[2]。

（4）支撑层。支撑层是以GIS 服务、视频服务、实时计算、批量计算和采集数据通信接口构成的基础支撑平台，提供支撑视频智能分析系统运行的相关技术组件、应用组件以及服务注册、业务流程、规则管理、跨系统的信息交换流程编排、数据交换、数据分析、信息检索等基础平台功能。

（5）应用层。应用层为视频分析系统具体业务功能的逻辑实现层，主要提供车辆跟踪，轨迹分析比对，区间测速等视频分析数据的上层应用及结合GIS 服务的数据展示。

2.2 物理架构

视频分析系统由前端外场摄像头和后台内场人工智能视频交通信息分析服务器、人工智能视频入侵检测分析服务器、人工智能视频分析软件、应用服务器、文件服务器组成。其中内场相关服务器部署在路段监控中心网络区域，通过各路段高速专网与前端视频摄像设备相连。如图3所示。

图3 系统物理架构图

2.3 视频智能分析

人工智能视频交通信息分析服务器和人工智能视频入侵检测分析服务器基于计算机视觉、深度学习等人工智能技术[3]，以及先进的目标识别与事件判断技术，实现人和车的多种事件检测。

服务器支持1080P（最高4K）视频输入，支持RTSP、GB/T 28181—2016 等多种接入方式。分析结果可叠加到原视频中，形成新的AR 叠加视频，并以RTMP 等格式输出。

服务器支持历史数据查询和数据导出，且支持通过REST 接口与其他系统进行交互。

2.4 交通数据实时计算

根据项目建设规划，本次项目中基于视频智能分析数据涉及实时计算主要有车辆区间测速、黑名单车辆锁定、重点车辆跟踪等业务功能。为避免平台IO 吞吐的大量消耗形成性能瓶颈，在总体架构上在应用服务器部署基于key-value的Redis 内存数据库，将具体计算业务相关的数据以对象的方式存入Redis 高速缓存，将计算中IO 读写要求最高的数据查询、排序、检索在内存中实现，满足平台实时计算的性能要求。

2.5 实时计算原则及约束条件

针对具体需求和建设规划，此次项目中实时计算应遵循以下约束原则：

（1）实时计算应只涉及近线实时数据、不涉及历史数据的计算。

（2）实时计算应只涉及分组汇总统计等简单查询统计算法，对于涉及数据挖掘领域相关聚类、分类、关联、回归统计、神经树等复杂迭代的算法放在数据中心实现。

（3）实时计算的准确性、实时性必须依赖于外场设备及网络正常稳定的运行，视频分析采集数据的实时上传（对于延时上传的数据采用事后批量计算处理）。

（4）对于区间测速等时间序列相关算法的成功实现依赖于高速联网收费系统对各ETC 前端设备时钟同步策略的有效实施。

2.6 实时计算架构

本次项目中实时计算以内存数据库为核心，以任务队列的方式驱动分布式计算服务组件执行相关计算业务，具体计算架构如图4所示。

图4 实时计算技术架构

实时计算架构由数据采集（接口服务器）、数据缓存（Redis 缓存服务器）和可分布式部署的计算服务组件组成，在整个实时计算架构中为接口服务器集群部署统一的Redis缓存服务器，在Redis 缓存服务器中以内存对象的方式存储1 小时业务数据、黑名单数据、规则库数据。计算服务组件提供具体的计算逻辑，可以根据各计算主题的业务需求进行分布式部署，部分主题的计算组件如黑名单锁定可以嵌入方式部署在接口服务器中。计算服务组件将计算的结果写入系统业务数据库中。

本项目研究的系统框架包含第三方数据接口，将数据接入，通过交通信息智能分析服务器进行数据分析识别，利用目标识别及事件检测技术，识别出详细的事件种类。如图5所示。

图5 系统框架

本研究运行的逻辑框架包含场外的摄像机、感知层、存储层、支撑层、服务层、展现层以及转出设备。如图6所示。

图6 系统运行逻辑

前端监控摄像机的视频数据，通过感知层进入系统，视频数据经过视频交通信息分析服务器分析后，实时输出结构化数据和AR 叠加视频。

存储层以数据库、文件系统技术为基础，包含数据资源（结构化和非结构化数据）和数据缓存，为支撑层提供数据交换、传输、共享、计算、加工存储体系。支撑层是以权限认证、用户管理、缓存服务等多种服务构成的基础支撑平台，提供支撑平台运行的相关技术组件、应用组件、数据交换、数据分析、信息检索等基础平台功能。应用层为台具体功能的逻辑实现层，按项目建设规划主要实现。工作人员主要通过工作站来对系统进行交互测与识别模型，针对大型停车场实施实时精准管控。

深度挖掘和分析示范应用场景的需求与痛点，以视频智能分析重构了客户的业务系统，提供独特的服务与支持，使得新系统兼具了科学性和便利性，还有效节省了客户的人力投入。

兼容市场所有主流厂家摄像机，可无缝对接现有已安装高清网络视频摄像机，无需重新硬件安装施工，节约产品升级成本，支持8/16/24/32/64 路视频，支持分布式部署多客户端访问，支持功能模块化，可按需求定制化扩展功能，支持第三方数据集成接口。

4.1 多服务器多GPU 训练集群技术

基于先进的虚拟化技术和集群技术，灵活调度GPU 计算资源，实现大规模的模型与业务场景数据训练。基于多种技术手段联合对模型计算复杂度、计算效率进行深度定制优化，在保证算法效果的同时，将算法速度提升数倍，保证算法落地业务场景的实时性和经济性。如图7所示。

图7 多服务器多GPU 训练集群

4.2 大规模视频 GPU 推理并行优化技术

为解决算法针对视频图像进行分析处理之前及处理之后，各终端之间输入输出视频流的编解码需求，以及图像数据在服务器各设备之间的搬运等需求[4]。本项目针对单台服务器和大规模推理服务器研究大规模视频GPU 推理并行优化技术，搭建用于视频分析的人工神经网络推理系统。

具体内容有：

（1）针对单台服务器。本系统将研究人工神经网络推理系统，深度学习算法模块、目标跟踪模块、遗留物检测模块、网络视频流实时渲染模块、视频流接入和推流等功能，下游模块基于推理系统，可直接使用已有的AI 算法模块和功能，实现解决从网络视频流的接入、解码、图像数据在内存与设备运存之间的搬运，异构设备上人工智能推理性能的提供等技术难题。同时本系统还将实现除去各步骤之间的无用开销，智能采用最优方式，极大提高单机推理性能。如图8所示。

图8 单台服务器

（2）针对大规模集群推理服务器。由于单台服务器的处理能力是有上限的，为了使项目的计算能力具有灵活的扩展性，本系统还将解决多台服务器的协作问题，使得服务器之间形成集群，研究多台推理服务器的集群搭建。要提高运算性能只需要增加服务器，这个动作对下游的开发者来说是完全透明的，无需额外工作量。如图9所示

图9 大规模集群推理服务器

4.3 基于图像的目标检测算法的技术

通过使用深度卷积神经网络技术，搭建高性能的目标检测算法，针对交通道路监控场景的覆盖范围广、目标类型多、目标尺度变化大等特点，需要算法能够在小尺度目标检测、目标遮挡问题、目标检测高定位精度、自适应各种不同的应用环境等方面取得突破[5]。

4.4 基于图像序列的多目标跟踪技术的技术

在目标检测算法提供的单帧目标位置和类别信息的基础上，设计多目标跟踪算法，利用目标的时序运动信息、外观特征等信息，设计算法对目标进行时间序列层面的分析[6]。算法需要良好地解决目标交叉遮挡、移动速度快等问题，生成稳定且准确的目标轨迹。

本研究成果的主要指标包含事件名称、检测高度、检测范围、准确率等。如表1所示。

表1 主要指标表

本系统于2019年10年份开发完成，现已应用于新阳高速、广韶高速、罗阳高速、广乐高速、揭惠高速、紫惠高速、河惠莞高速、路达高速等十多条路段，每个月每条路段检测出的各类事件多达数百条，大大提高了路段的运营管理效率。

本项目是在大量收集和分析用户需求的基础上，在国家政策和行业痛点的背景下立项开发，通过人工智能深度学习技术的研究，应用了多服务器多GPU 训练集群、大规模视频GPU 推理并行优化技术、基于图像的目标检测算法的技术、基于图像序列的多目标跟踪等技术。研发出一套适合高速公路运营管理的视频事件检测系统，通过大量案例应用验证了研究方案的可行性及先进性，并且通过了公安部及交通部权威机构的安全及质量认证，还通过了权威机构鉴定的“国际先进”成果。成果大大提高了高速公路的运营管理效率，为高速公路行业的事件检测提供了参考。本研究未与雷达监控进行结合研究，接下来的研究任务是与雷达融合，解决因天气、光线、遮挡等影响检测有效性问题。