基于AI算法的3D打印缺陷检测方法研究

王红梅

(山西工程技术学院 大数据与信息工程科学系，山西 阳泉045000)

3D打印技术诞生于上世纪八十年代，该项技术能根据数字化信息建立3D模型，以此创建出具体的物理对象[1].在过去十年间，桌面3D打印机已经逐渐地走进人们的工作和日常生活，受到诸如专业设计师和制造爱好者的欢迎.3D打印融合了多种不同的技术，其中熔丝制造是最为主流的3D打印技术.3D打印技术相对于传统制造方法在制造和快速成型方面具有优势，其最大的优点是减少浪费，能够在短时间内创建复杂和详细的几何结构.然而，3D打印也存在一系列的挑战，阻碍了这项技术的大规模演进发展.由于存在模型大小、复杂性差异等因素，3D打印的过程可能会持续数个小时至几天不等.此期间很可能会出现诸如喷嘴堵塞等故障，影响打印成品的质量，甚至损坏3D打印机机.因此，如何在打印期间进行实时的打印机故障或打印成品缺陷检测是亟待解决的关键问题.对此，本文搭建了3D打印缺陷检测系统，设计了基于人工智能(Artificial Intelligence，AI)算法的3D打印缺陷检测方法.

所使用的系统结构如图1所示，所使用的3D 打印机为Prusa i3 MK3S+.摄像头可以捕获实时的打印对象的图像，通过在捕获图像A和渲染图像B中对打印对象进行分割，可以得到对应的分割掩码s(A)和s(B)，以此将误差估计简化为两个稀疏矩阵元素之间的异或操作，即：

图1 系统结构

D=s(A)⊕s(B)

(1)

当实际视图和预期视图之间存在差异，D中元素的值为真，以此表明存在错误.基于D，可定义误差度量：

E=ND/Ntotal

(2)

其中：ND是D中元素值为真的像素数量，Ntotal是完整对象的渲染蒙版中的前景像素数量.

1.1 打印对象分割

在进行打印对象分割的过程中，摄像头使用Bayer图像色彩还原技术[2]将图像的颜色空间转化到RGB(Red Green Blue)空间中，即每个像素的颜色由红色、绿色和蓝色三种强度表示.虽然这三种颜色可以模拟大多数人类可感知的颜色，但这种颜色表示方式并不适合用于对于彩色对象的分割和检测.因此需要将颜色空间从RGB转换至HSV(Hue,Saturation and Value).

给定图像中位置x的像素，假设其RGB值为rx、gx和bx，首先对这些值进行归一化，即：

(3)

(4)

(5)

随后计算最大强度Cmax、最小强度Cmin及其差值Δ，分别如下所示：

(6)

(7)

Δ=Cmax-Cmin

(8)

结合上述各式，HSV的计算方式如下所示：

(9)

(10)

vx=Cmax

(11)

将捕获图像转换到HSV空间后，只需保留色相在Ht=[hmin,hmax]范围内的像素.另外，将饱和度和明度小于对应阈值TS和TV的像素去除，这些像素由于光照不足而没有包含太多信息.因此，分割掩码中位置为x的像素值的计算方式如下所示：

(12)

1.2 渲染与投影

当光线从一种介质进入另一种介质时，部分光会被透射，部分会被吸收，还有部分会被反射.将被透射、吸收和反射的光的比例分别表示定义为透射率T、吸收率A和反射率R：

T=IT/I0

(13)

A=IA/I0

(14)

R=IR/I0

(15)

其中：I0是介质表面接收到的辐射强度，IT是通过介质传播的强度，IA是介质吸收的强度，IR是介质反射的强度.

由于不同的打印材料具有不同的辐射特性，因此在渲染给定媒体的外观时必须对透射率T、吸收率A和反射率R进行建模.

在打印对象表面上的给定位置处被吸收、透射和反射的辐射强度的量取决于表面与光源之间的入射角以及表面与摄像头之间的角度.此处采用双向散射分布函数(Bidirectional scattering distribution function，BSSRDF)来捕获光线与打印对象相互作用的特性.BSSRDF将给定表面点的出射辐射与另一点接收到的入射辐照度相关联，即：

dLr(xr,ωr)=S(xi,ωi,xr,ωr)dEi(xi,ωi)

(16)

其中：Ei(xi,ωi)是在表面点xi接收到的来自方向ωi的辐照度，Lr(xr,ωr)是在表面点xr向方向ωr发射的辐亮度.

除了获得准确的辐射模型外，还需要一个模拟3D打印机创建的表面微结构的过程模型.最后，必须知道所有场景元素(例如光源、打印对象、摄像头和底板)的位置.

使用仿射变换矩阵P将顶点v投影到图像平面，即：

u=Pv

(17)

其中：u是二维图像平面的点，仿射变换矩阵P的定义如下所示：

(18)

其中：f是相机的焦距，(Δx,Δy)是图像坐标，α是缩放因子，β是剪切系数.仿射变换矩阵P定义了三维点到二维点的透视投影.

1.3 矫正与光源调整

为了使世界坐标系与打印机的坐标系重合，需要预先估计相机参数，即进行摄像头校准.对此，定义了一个新的坐标系，该坐标系由四个角标记的位置构成，使用角标记的位置来确定打印对象的相对位置.这样一来，能得到一个明确的坐标系，很容易地找到相对于打印对象和摄像机的坐标系.

当对象表面和光源之间的角度以及对象表面和观察者之间的角度都接近45度，且光源和观察者之间的方向差很小时，就可以尽可能多地捕获从打印对象反射的光的漫射分量.对此，需要尽可能将光源放置在靠近摄像头的位置，同时两者都相对于构建板呈大约45度的角度.

为了对模型进行训练，需要收集有缺陷打印对象的图像.通过改变相关的打印参数，生成了具有缺陷的打印对象，收集了500张相应打印对象的图像作为检测器的训练数据集.随后，应用了数据增强技术以增加训练数据集中实例的数量.数据增强是一种基于现有数据集来创建新合成数据的技术[3].对于原始训练集上的每幅图像，本文应用的数据增强技术有五张，分别是图像缩放(将图像缩小到原图的一半大小)、水平翻转、随机裁剪、90 度旋转和随机亮度调整.将这5 种数据增强技术应用于500张原始训练图像，能获得2 500张图像作为新的合成数据集.为了获得带有正确标注的图像，使用开源注释工具手动注释所有图像并得到相应的Pascal Visual Object Classes(PASCAL VOC)格式的可扩展标记语言(XML)文件作为每个训练图像的注释文件.

由于该缺陷检测方法需要部署在真实的实时环境，需要在准确性和快速检测之间取得平衡，因此本文基于人工智能算法提出实时的缺陷检测方法(记为DDAI).

DDAI使用VGG16[4]前馈卷积网络作为基础网络，其输出是具有固定大小的边界框集合.该网络的结构如图2所示，其中最后的softmax函数生成图像属于某个类别的概率.

图2 基础网络结构

该阶段根据对象类别存在的概率为每个边界框给出分数.DDAI在基础网络后添加额外的卷积层(如图3所示)，这些卷积层的大小逐渐减小，直到达到非极大值抑制[5].非极大值抑制使用第一个网络的额外卷积特征层来决定最终的检测结果.DDAI是基于Tensorflow实现的，训练模型的超参数取值如表1所示.

图3 DDAI整体结构

表1 模型参数

由于对象检测算法使用边界框进行局部预测，因此可以使用交并比(IoU)来量化特定预测边界框的精度.IoU指标刻画了预测边界框和真实边界框的重叠量.DDAI使用了0.4、0.5和0.6的阈值作为真假预测的余量进行了实验.在IoU等于0.5的情况下，如果边界框的IoU值大于0.5，可以认为预测结果是真阳性(TP)，同理可以进一步计算预测结果的假阳性(FP)和假阴性(FN).由于测试集中的每个图像至少存在一个缺陷，因此此处不对真阴性进行评估.

当IoU大于0.5(阈值)时，相应的预测为真阳性，这意味着预测的缺陷是真实的.在 IoU小于0.5的情况下，预测的结果为假阳性，这意味着预测的缺陷并不是真实存在.当DDAI的预测结果完全错过真正的缺陷时，预测结果是假阴性.

结合上述真阳性(TP)、假阳性(FP)和假阴性(FN)的结果，定义精度、召回率和F1度量三个指标，如式(19)所示.

(19)

如图4所示，训练后的模型在IoU为0.4时达到了0.44的精度和0.69的召回率，在IoU为0.5时达到了0.41的精度和0.63的召回率，以及在IoU为0.6时达到了0.4的精度和0.62的召回率.随着IoU阈值的增加，预测会变得更加严格，从而导致性能下降.随着阈值变得更高，DDAI产生了更多的误报.由于DDAI的目标是检测缺陷，因此IoU阈值为0.4的检测结果是可以接受.使用较小的IoU阈值可以增加检测到的真实缺陷的数量，但是太小的IoU 阈值会显着增加假阳性.因此，虽然增加 IoU 阈值将减少真阳性，但也会减少假阳性.在实际部署中，本文选择0.4作为IoU阈值.

图4 实验结果

原始数据集仅由500张图像组成，其规模过小，不足以训练出拥有较高性能的模型.增加训练数据的规模可以提升DDAI的性能指标.关于平均精度，在IoU阈值为0.6时达到 0.4，在IoU阈值为0.5时达到0.44，在IoU阈值为0.4 时达到0.52.

本文设计了由打印机、工作站、摄像头和光源组成的3D打印缺陷检测系统，提出了打印对象分割和渲染方法，以实时、准确地捕获由摄像头拍摄的打印对象.针对实时缺陷检测，设计了基于AI算法的缺陷检测方法，以较低的成本实现了准确的打印缺陷检测.通过增强技术对数据集进行扩充，并在进行系统部署后使用实验评估了所提出检测方法的性能.实验结果表明，所提出的方法在实时缺陷检测方面获得较好的性能.后续的研究工作将扩展本文所提出的模型，使其能识别更多类型的打印缺陷和打印机故障.