物体表面三维虚拟图像点云数据提取仿真

左倪娜，覃 晓

(1. 广西警察学院信息技术学院，广西 南宁 530028；
2. 南宁师范大学计算机与信息工程学院，广西 南宁 530100)

3D目标检测技术可检测场景中的物体，在此过程中，点云数据的提取是3D目标检测过程中的关键步骤[1]，通过点云数据能够获取目标物体的位置和大小等信息。采用激光雷达技术采集物体点云信息时，在采集过程中受周围环境的影响较小，但场景复杂程度、点云分布离散程度和点云密度等因素会影响点云数据的提取精度[2]，因此需要进一步研究点云数据的高效提取方法。

刘亚文[3]等人采用基于密度的聚类方法提取物体表面点云数据，针对点云数据中的缺失区域，建立不规则三角网对其填补，在此基础上提取边缘点云数据，结合区域增长密集匹配方法增强处理点云数据，完成点云数据的提取，该方法无法消除点云数据中存在的离散点，受离散点的影响，降低了点云数据提取结果的准确率。蔡湛[4]等人首先检测物体表面的边缘点，采用相邻轮廓线相交方法规则化处理轮廓线，平移外扩处理轮廓线，确定点云坐标，完成点云数据的提取，该方法提取的点云数据中掺杂的小尺度噪声较多，对提取过程产生影响，进而降低了方法的监测率、增大了方法的漏提率。但是三维虚拟现实物体表面的点云多边形网格具有非结构化的特点，导致点云特征无法直接输入到注意力机制中，因此上述已有方法的应用出现噪声较大的问题。

为此，本研究采用双边滤波融合算法消除小尺度的噪声，优化了三维虚拟现实物体表面图像点云数据提取方法，并通过实验验证了该方法的应用性能。

2.1 点云数据采集

为了提高点云数据提取精度，需要对摄像机做标定处理[5，6]。针对点云数据采集所用的摄像机，三维虚拟现实物体表面图像点云数据提取方法通过透视投影模型对其描述，用表示a=[u，v]T图像坐标系，点A=[X，Y，Z]T存在于世界坐标系中，设L代表摄像机内部中存在的参数；
通过下式投影处理点A=[X，Y，Z]T，将其转变到图像坐标系中

a=L(T′+R′A)

(1)

式中，正交矩阵R′用于表示摄像机在工作状态下的方位；
三维向量T′用于表示摄像机在工作状态下的具体位置。

激光坐标系通过平移操作和旋转操作可以转变为摄像机坐标系。分别用Al、Ac表示激光坐标系和摄像机坐标系中存在的点，两个点之间属于对应关系，用T表示两个坐标系之间存在的平移矩阵，用R表示两个坐标系之间存在的旋转矩阵，点Al、Ac在两个坐标系之间的转换可通过下述操作完成

Al=RAc+T

(2)

三维虚拟现实物体表面图像点云数据提取方法采用双目视觉RGB深度估计方法[7，8]获取点云数据坐标，提取三维虚拟现实物体表面图像点云数据。采用标定后的两个相机获得图像I1、Ir，在DeepPruner中输入两幅图像，获得视差图Y(u，v)，在此基础上生成三维虚拟现实物体的深度图D(u，v)

(3)

式中，b代表相机之间存在的基线距离；
gU代表水平方向中相机对应的像素焦距。

根据获取的深度图，获得世界坐标系中像素(u，v)经过畸变校正处理后的三维坐标(x(u，v)，y(u，v)，z(u，v))，即点云数据h(u，v)

(4)

式中，(vU，vV)代表图像中光心投影的像素坐标；
bx代表参考相机与左侧相机之间存在的水平基线距离；
gU描述的是水平像素焦距；
by代表参考相机与左侧相机之间存在的竖直基线距离；
gV描述的是竖直像素焦距。

基于摄像机的标记，获得世界坐标系中像素，完成三维虚拟现实物体表面图像点云数据的采集。

2.2 点云数据去噪处理

2.1节采集的点云数据处于高噪声、散乱无序状态，因此通过kd-tree方法构建点云数据之间存在的空间拓扑关系，结合双边滤波方法和密度分析方法消除点云数据中存在的噪声。

1)密度分析方法

在点云数据集合中偏离大部分的点云数据被称为离群点，三维虚拟现实物体表面图像点云数据提取方法采用密度分析方法消除离群点。

(5)

式中，xi代表点云数据ai在数据集中与邻近点之间存在的平均距离；
σ代表邻域平均距离的标准差；
λ代表邻域平均距离的均值。

2)双边滤波

针对点云数据中存在的小尺寸噪声，三维虚拟现实物体表面图像点云数据提取方法采用双边滤波算法对其处理[9]。

用M(ai)表示点云数据ai的k近邻点云构成的集合，用C表示集合M(ai)的协方差矩阵，其表达式如下

(6)

通过下式特征分解处理矩阵C

(7)

通过上述分析，利用下式描述三维虚拟现实物体表面图像点云数据关系

(8)

(9)

式中，Ec代表光顺滤波权重函数；
Es代表特征保持权重函数。

采用双边滤波融合算法处理点云数据的具体过程如下

1)获取点云数据ai在集合中的k近邻Mb(ai)；

2)构建函数Ec、Es，在此基础上获得用于滤波处理的双边滤波因子β；

3)通过式(9)对点云数据做双边滤波处理。

2.3 点云数据的增强处理

针对完成去噪处理的点云数据，对其展开体素化处理，获得点云数据对应的体素特征，分别采用3D稀疏卷积神经网络[10，11]和ResNet神经网络提取点云数据和三维虚拟现实物体表面图像的特征，在点云数据增强处理时，三维虚拟现实物体表面图像点云数据提取方法引入了注意力机制，其主要目的是对齐处理上述过程提取的特征，获得增强后的点云数据，完成三维虚拟现实物体表面图像点云数据的增强处理。

将特征学习分为以下两个部分：

1)采用Lidar分支提取点云数据的特征；

2)通过摄像机分支提取三维虚拟现实物体表面图像的特征。

假设3D对象在Lidar分支中存在M个点，用{xi，yi，zi，ri}表示3D对象的点云数据，其中ri代表点云数据的反射值；
xi、yi、zi代表点云数据对应的空间坐标。

结合计算机学习的注意力机制[12，13]和信号处理的互相关概念，三维虚拟现实物体表面图像点云数据提取方法设计了注意力机制，用于增强处理点云数据。

用Hi表示三维虚拟现实物体表面图像的特征；
用Hp表示上述过程获取的点云特征。通过下述公式计算图像特征Hi和点云特征Hp的相关程度值Ki、Kp

(10)

式中，Qi、Qp均代表变换矩阵；
bi、bp均代表偏置向量；
h代表点云数据偏离角度。

根据相关程度值Ki通过下式计算点云特征中存在的分量对应的注意力分数Si[14，15]

Si=softmax(Ki)

(11)

设Sp代表每个分量在图像特征中对应的注意力分数，可通过相关程度值Kp计算得到

Sp=softmax(Kp)

(12)

在注意力机制中输入图像特征Hi和对应的注意力权重Si获得图像修正矩阵Bi：

Bi=HiSi

(13)

获得修正后的三维虚拟现实物体表面图像特征Hi=Hi+Bi。

同理，在注意力机制中输入点云特征Hp和对应的注意力权重Sp构建点云修正矩阵Bp=HpSp，获得增强后的点云数据为Hp=Hp+Bp。根据上述步骤，完成三维虚拟现实物体表面图像点云数据的增强提取。

为了验证三维虚拟现实物体表面图像点云数据提取方法的整体有效性，需要对其展开相关测试，为了保证实验的真实性，在测试过程中选用文献[3]提出的基于密度聚类的点云数据提起方法和文献[4]提出的基于轮廓边缘处理的点云数据提取方法作为对比方法。

点云数据通常处于散乱无序状态，在点云数据提取过程中容易引入大量的噪声，采用所提方法、基于密度聚类的点云数据提起方法和基于轮廓边缘处理的点云数据提取方法提取物体表面点云数据，点云数据采集结果如下。

图1 研究方法

图2 基于密度聚类的点云数据提起方法

由图1～图3可知，采用所提方法提取的点云数据较为清晰，不存在噪声点，采用基于密度聚类的点云数据提起方法和基于轮廓边缘处理的点云数据提取方法提取的点云数据中掺杂着大量的噪声，因为所提方法提取点云数据时，采用密度分析方法消除了点云数据中存在的离群点噪声，并通过双边滤波融合算法消除了点云数据中掺杂的小尺寸噪声，可有效消除点云数据中存在的噪声，获得高精度的点云数据。

图3 基于轮廓边缘处理的点云数据提取方法

将漏提率F-score和准确率Precision作为指标，测试所提方法、文献[3]方法和文献[4]方法的整体性能，上述指标的计算公式如下

(14)

式中，NTP代表点云数据被正确提取的数量；
NFP代表点云数据错误提取的数量；
NFN代表漏检的点云数据。

根据图4中的数据可知，所提方法在60s测试过程中，点云数据的漏提取率始终低于2%，且没有发生明显波动，具有较强的稳定性。随着测试时间的增加，基于密度聚类的点云数据提起方法和基于轮廓边缘处理的点云数据提取方法，漏提取的点云数据不断增多，最高已达9.8%，测试所得数据表明所提方法的漏提取率更低，更适用于数据量较大的点云数据提取中。

图4 不同方法的点云数据漏提取率测试

表1 不同方法的点云数据提取准确率测试

由表1可知，所提方法提取点云数据时的准确率均在98%以上，远高于基于密度聚类的点云数据提起方法和基于轮廓边缘处理的点云数据提取方法，表明在三维虚拟现实物体表面图像点云数据提取过程中，所提方法可精准的提取点云数据，因为所提方法消除了离群点和小尺度噪声对数据提取过程中产生的干扰，并增强处理了去噪后的点云数据，提高了点云数据的整体质量以及提取准确率。

点云数据中存在的噪声多且方位散乱，增大了点云数据提取的难度。目前点云数据提取方法存在去噪性能差、漏提率高和准确率低的问题，提出三维虚拟现实物体表面图像点云数据提取方法，该方法在点云数据提取过程中消除了噪声，并增强了点云数据，提高了点云数据的整体质量，解决并改善了目前方法中存在的问题，具有良好的发展前景。