基于局部时空特征的电扶梯乘坐人员危险行为分析

李克祥，邵卫华，郑国华，朱忠和，周昌智

（浙江索思科技有限公司，浙江 温州 325000）

作为一种特殊的交通工具，电扶梯具有长时间不间断运行、负载动态不断变化的特性，且由于乘客搭乘扶梯时安全防范意识不够，导致扶梯上的安全事故层出不穷，若未能及时紧急制动，将会对人身造成持续严重伤害。

传统的电扶梯检测局限于诸如梯级变形、电气安全装置失效等对当时运行状态进行安全检测，无法对电扶梯正常运行状态下的乘客危险行为做出预测。深度学习的出现使得人体检测相关算法的准确度与性能逐年提升，经过优化的图像识别算法可以在高速GPU平台上对视频进行实时分析，对于画面中可能存在的人身安全事故作出及时报警，最大限度减轻扶梯事故中的伤害。相比人工检测与传统检测方法，此方法能有效应对复杂多变环境，在减少人力支出成本的同时具有更高的准确率及抗干扰能力。

本文是基于图嵌入学习和粒子群优化的人体稳定捕捉和跟踪的基础上，对人体的行为进行分析和理解。

行为理解是指对人的行为作分析和识别，可以简单地认为是时变数据的分类问题，即将测试序列与预先标定的代表典型行为的参考序列进行匹配。由此可见，行为理解的关键问题是如何从学习样本中获取参考行为序列，并且学习和匹配的行为序列必须能够处理在相似的运动模式类别中空间和时间尺度上轻微的特征变化。行为理解的主要方法如下。

（1）主成分分析PCA(Principal Component Analysis)。PCA是一种用于目标行为识别的统计学方法。

（2）动态时间规整DTW(Dynamic Time Warping)。DTW具有概念简单、算法鲁棒的优点，可以用于匹配人的运动模式。

（3）有限状态机FSM(Finite State Machine)。FSM最大的特点是有一个状态转移函数，它可以确定最佳状态，并用该状态确定测试序列与参考序列是否匹配。

（4）隐马尔可夫模型HMMs(Hidden Markov Models)。HMMs的使用涉及训练和分类两个阶段，确认隐藏状态数和优化匹配序列，其被广泛地应用于行为识别中。

除了上述提到的几种行为分析算法，基于骨架建模的深度学习行为识别方法不断涌现，如使用循环神经网络、时域卷积神经网络来提取骨架信息并对行为进行端到端识别。本文利用形状上下文来表述人体的轮廓特征，再通过主导级方法算法对所有特征学习，统计图像类的行为类分布情况，得到图像类到动作类的转换概率表，从而建立鲁棒的行为模型，依靠此行为模型来判断乘梯的异常行为。

人体行为理解主要通过人的跟踪来分析其自身行为及与其它目标的交互行为。人体是一个具有高自由度的非刚体，因此难以找到一个合适的特征来描述人体行为，并且同一个人做同一个动作所用的时间也是变化的。此外，人体自遮挡，模糊的视频，不统一的摄像机参数等等都会给行为理解带来很多困难。现有人的行为理解系统都依赖已知的特定场景，在这些场景下，人是以预先定义好的方式运动的。这种方法对环境的适应性不强，一方面，对每个场景都要定义一套人的行为模式，一旦人的行为模式有了变化，又要重新定义；
另一方面，在某些实际应用中，人的行为模式有时无法很好地预定义。这就需要建立一个通用的、无须手工定义人行为模式的行为理解方法。针对上述问题，本项目提取人体动作局部时空特征的本征结构，从而显著改善时空特征的区分力，实现有效的人体行为识别。具体内容如下：

（1）研究基于时空流形学习的人体动作本征结构特征提取问题；
（2）研究基于多特征联合稀疏编码的人体动作识别方法；
（3）研究提取人体轮廓的形状上下文特征，通过主导级学习建立行为模式的方法。

2.1 基于时空流形学习的人体动作本征结构特征提取

在视频监控中，由于人体受到视角变化、方位变化、光照变化等因素的影响，即便是同一人体，其动作特征也会千差万别，从而给识别和分类带来巨大挑战。因此，人体动作时空特征的本征结构提取是人体行为识别的关键，通过有效的特征降维理论提取人体动作时空特征的本征结构，能够显著改善时空特征的区分力，为后续识别和分析提供可靠的特征输入。本课题针对人体目标的非刚体运动、外观表现的多变性（动作执行者不同、环境不同）和人体动作的高时空复杂性和长时空相关性等特点，采用非线性降维方法，将传统的空间流形学习算法向时空域扩展，从而提取不依赖物理意义的数学新特征。

如图1所示，首先，将人体跟踪的图像区域分离出来，并这些图像块放缩到统一的尺度上，然后把每个图像块按照列的方式串联起来形成列向量其中，p是每帧所包含的像素数。令表示所有的个人体跟踪图像块，其中列向量ix描述该人体动作帧的空间信息。

算法具体实施步骤分成以下3步：

（1）对原始动作序列空间提出一种新的距离度量，以确保：①引起动作变化的本质变量邻近的动作样本彼此邻近；
②在同一种动作序列下的动作彼此邻近；
③不同动作序列样本集之间的距离最大。假定动作ix的变化可 描 述 为，其中是造成动作变化的本质变量，如角度、光照等，则按上述要求定义的距离度量D应同时满足下述条件：

可以想象，按照这种原则可以建立不同的距离测度，其评价系统和选择应取决于对检测和跟踪的试验结果的分析。

（2）结合现有的非线性降维算法理论，在给定原始高维空间的基础上，寻找保持最优条件（1）的低维特征空间，从而获得高维空间到特征空间的非线性显性表达。原始高数据空间到低维空间的映射f应满足如下相似性要求：

式中，S是根据新的距离度量D定义的相似性度量，如可定义为

（3）进一步，将把非线性降维方法提取的新的本质特征与物理特征进行有效融合，共同帮助实现准确的动作识别。

2.2 基于多特征联合稀疏编码的人体动作识别

近年来，词袋模型在人体动作识别任务中取得了较好的结果，并已成为人体动作识别的主流方法。但是，基于词袋模型的表示有2个主要缺点：（1）词袋模型在特征编码的时候，将局部特征量化到最近的一个视觉单词（硬编码），这将带来较大的量化误差，量化误差会随着后续进一步的建模而传播，使得表示不可靠，最终降低识别效果；
（2）词袋模型中用到的特征往往是单一的，即使用到了几种不同的特征，也只是将这些特征进行简单叠加，而没有探究各个特征间的一致关系。由于不同特征在表示形式、意义、量纲方面的差异，使得难以将不同特征在进行有效的融合。为了解决上述问题，本课题拟提出基于多特征联合稀疏表示框架，来有效融合动作的多种特征，从而实现动作的准确识别。

该模型的主要流程如图3所示。具体分为以下几步：

（1）在基于人体跟踪获得人体的动作图像序列后，我们采用Laptev等人提出的Harris3D检测器检测时空兴趣点。

（2）在每个兴趣点处抽取视频立方块来计算动作的局部时空描述，它们包含若干帧该兴趣点处的局部运动，即每个视频立方块都是一个三维张量，大小为其中为兴趣点图像块的尺寸，n3为视频的帧数。

（3）针对每个视频立方块，提取K种不同特征(比如颜色、形状、纹理等)，对于第k个特征，其对应 的 特 征 字 典 可 以表 示 为其中n是字典原子的个数，其中字典可以通过K-means聚类算法来对训练数据中提取的大量视频立方块的第k个特征进行聚类获得，令第k个特征表示下的一个立方块为它可以表示为：其中为第k个特征下该立方块的表示系数，为残差项。我们希望用尽可能少的模板对该立方块进行重构，这可以通过对加上L0范数的约束来实现。为了实现不同特征之间的共享和互补，我们将属于同一立方块但对应于不同特征的表示系数加上2L范数的约束，从而使得该立方块在多特征表示下达到共同系数。综上所述，多特征联合系数表示的优化问题可以表示为：其中上 式 中L2,0混合范 数 的具体 计算表达式为：。然而优化问题（3）是NP难问题，因此我们用L2,p范数(0

2.3 基于主导级学习的人的行为理解

现有的人的行为理解系统都依赖已知的特定场景，在这些场景下，目标是以预先定义好的方式运动的。然而，在实际应用中，人的行为模式有时无法很好地预定义，这就限制了此类方法对环境的适应性。针对这个问题，本课题拟采用提取人的形状上下文特征，通过基于图论的主导级学习方法对特征进行分类。具体来说，行为理解的过程分为以下两个阶段：

（1）第一阶段：训练样本库。样本的动作种类由人工标定，每一类行为作为一种类别，这样每一帧图像都有了自己的行为类。在实现人的跟踪后，提取每一帧图像上的目标轮廓信息作为特征，并用形状上下文进行描述。这样一个视频序列就被解析成了一个特征序列。然后，用主导级方法对所有特征进行学习，所获得的类别作为图像类。统计每一图像类序列中的行为类分布情况，就可以得到一个图像类到行为类的转换概率表。

（2）第二阶段：识别测试视频。对于测试视频段，在实现人的跟踪提取后，同样使用形状上下文将其表述成一个特征序列，然后，用主导级方法将每一帧图像进行分类。当测试视频帧序列转化成了图像类序列后，通过训练时得到的图像类到行为类的转换概率表，可以得到每一帧到所有行为类的转换概率，这样在视频帧序列上做局部统计，就得到了这个局部里的帧所属的行为类别，实现了行为理解。

针对上述的研究内容，在扶梯的进出口安装网络摄像头，采集现场扶梯的视频，另外，再结合网上搜集的扶梯意外视频进行实验，对实验结果进行分析和总结。

乘客危险行为识别结果及分析。为分析扶梯乘客危险行为识别算法的效果，对16段离线采集的扶梯监控视频进行实验，其中包含10个人员摔倒视频、6个扶梯逆行视频，并对其指标进行分析。算法在i7-7700 3.6GHz CPU、GTX1660 GPU、16G RAM、Ubuntu1604操作系统的计算机上用Python编程实现,视频图像大小为749像素×720像素，处理速度达到15帧/秒。

实验数据结果如表1所示，其中人体目标检测及运动检测率达100%，目标运动跟踪率达93.75%，人员摔倒检测率达100%，逆行行为检测率为83.3%，可见逆行的判断准确率还是比较低。

表1 乘客行为识别结果

实验结果表明，在GTX1660GPU的运行环境下，文中提出的识别算法的处理速度能达到15fps，异常行为识别准确率达93.75%，能够实时准确地识别电扶梯乘坐人员的危险行为，满足智能视频监控系统实时性、准确性和鲁棒性的要求。但算法仍然存在不足，比如，人员逆行检出率较低，且当扶梯中乘客过多时，拥挤的乘客会出现严重的遮挡使得不能很好地描述人体的行为，从而增加异常行为误检率，造成算法效果不佳。下一步将会在多人异常行为检测与识别方面改善算法的性能，增强算法在多人情况下的鲁棒性。