采用ORB-SVM模型的铝合金熔滴复合电弧堆积层形貌缺陷快速识别

郭鑫鑫,杜军,马琛,魏正英

(西安交通大学机械制造系统工程国家重点实验室,710049,西安)

传统金属增材制造工艺大多使用粉末[1-3]或丝材[4-6]作为原材料,制备成本高,而很多牌号的金属不易制粉或丝,常常使得工艺在材料选择方面受限。本课题组提出了一种非常具有前景的替代方案,以感应加热与TIG电弧作为热源,金属铸锭作为原材料的增材制造新方法,即熔滴复合钨极惰性气体保护焊(tungsten inert gas welding,TIG)电弧堆积成形方法[7-9],其具有高效率低成本等优点。

熔滴复合TIG电弧成形过程中如熔滴冲击速度、电弧热输入、成形速度、喷头流量、基板温度等可变工艺参数繁多,由于堆积层尺寸对工艺参数的高灵敏度[10]以及复杂的材料冶金过程,不可避免地会出现未熔合、不连续、溢流等堆积层形貌缺陷。

机器学习因其在分类、回归和聚类等数据任务中前所未有的性能而受到越来越多的关注[11],基于机器学习的方法在增材制造堆积层形貌特征提取、识别、预测与控制中具有广阔的应用前景。Shi等[12]基于卷积自编码器的方法从表面轮廓中提取信息特征,并通过有监督的机器学习,进一步量化表面形态与机器参数之间的相关性。Zhang等[13]提出了应用深度学习框架自动检测增材制造金属零件表面质量,在欠熔、过熔和良好的识别中表现出了出色的性能。Zhu等[14]为了实现焊缝表面缺陷的无损智能识别,提出了一种基于深度学习的焊缝表面缺陷智能识别方法,通过卷积神经网络(convolutional neural networks,CNN)自动学习高级特征,利用提取的高级特征对随机森林进行训练,预测分类结果。Deng等[15]根据视觉传感器获得的电弧增材制造(wire arc additive manufacturing,WAAM)成形零件的尺寸建立了机器学习模型。Xia等[16]提出了一种基于激光传感器的WAAM表面粗糙度测量方法。为了提高WAAM沉积层的表面完整性,开发了不同的机器学习模型。发展实时检测的主要困难是图像处理的速度[17],虽然近年来随着机器学习的发展增材制造过程监测获得了长足的进步,然而上述监测模型的构建需要价格昂贵的GPU来缩短图像特征提取与训练时间,成为制约该技术在监控设备终端部署应用的瓶颈。

本文旨在开发一种低计算资源的在线监测方法,用于实现铝合金熔滴复合TIG电弧增材制造过程堆积层形貌缺陷快速识别,提高堆积层成形质量,降低制造成本。在目标识别领域,图像特征提取是进行后续工作的关键步骤[18],图像处理需要时间,从而导致整个系统的滞后,所以首先基于ORB算法自动快速提取堆积层形貌特征的二进制描述符,并且提取的特征向量是旋转不变和抗噪声的;然后采用BOW模型对堆积层形貌图像数据集中所有的 ORB 描述子进行聚类构造视觉词典;最后将每张图像的视觉单词直方图作为输入特征训练支持向量机堆积层形貌识别模型,并借助网格搜索算法与k-fold交叉验证优化模型参数。

1.1 试验设备

本文以自主研发的铝合金熔滴复合TIG电弧增材制造设备开展堆积层形貌缺陷识别研究。该工艺结合了变极性TIG电弧和感应加热系统,工艺原理如图1所示。作用于坩埚外围的高频电磁感应线圈将坩埚内的材料加热至熔融态,在惰性气体的压力驱动下熔融态铝合金经底部过滤网过滤后进入熔覆头中的流道,经流道作用后在喷孔处形成熔滴并快速射向位于熔覆头正下方的基板;同时变极性TIG电弧作用于铝合金基板形成熔池,三维运动控制系统带动基板向堆积层监测系统方向移动。熔滴在气压驱动下连续落入熔池与基板发生冶金结合,液态金属凝固后形成堆积层。

堆积原材料采用铝合金棒材,将其加工成直径为 60 mm、高度为 80 mm 的圆柱放置于石墨坩埚内熔化,2024铝合金化学成分Al、Cu、Mn、Mg、Zn质量分数分别为92.94%、4.75%、0.5%、1.56%、0.25%。

成形过程中保持 TIG 焊枪和熔覆头不动,基板随运动平台移动,CMOS 相机与焊枪的相对位置不变,镜头聚焦在熔池及堆积层后沿,实时抓取堆积层表面形貌。试验装置及相机基本参数如表1所示。

表1 试验装置及CMOS相机基本参数

1.2 试验方案

TIG电弧峰值电流、基板移动速度、喷头流量和基板加热温度是对堆积层形貌影响最大的4个主要工艺参数,本文将主要针对这4个工艺参数对堆积层形貌的影响展开研究。单层单道成形工艺参数变化范围如表2所示。

表2 单层单道堆积成形工艺参数

采用数据清洗及图像灰度化处理筛选出良好、未熔合、溢流、不连续4种类型的堆积层形貌数据集,为了使训练后的模型泛化能力更强运用数据增强手段使训练数据分布更加丰富,具体图像预处理与标记方法参考文献[19],最终获得数据集共有14 000张图像,每个类别训练集的数量为3 500。

图2显示了不同工艺参数组合下堆积层可能存在的形貌类型,对于图2(b),由于基板移动速度过快导致热输入不足,基板熔深较浅,铝合金熔滴不能和基板发生冶金结合,堆积层宏观形貌表现为宽度较窄,并且与图2(a)相比前端重熔程度较低;通过增大电弧电流或减小基板移动速度等方式提高单位时间热输入量,可显著降低未熔合缺陷,然而过多的热输入会导致严重的溢流,由于熔池表面中心液体被挤压到周围,堆积层宽度变大,鱼鳞纹特征减弱,如图2(c)所示;当熔滴流量过小时,在制造过程中熔滴沉积系统变得不稳定,降低了零件成形的稳定性,堆积层不连续,如图2(d)所示。因此,对堆积层边缘和关键点等底层特征进行可靠提取,可实现形貌缺陷的准确识别。

2.1 基于ORB算法的特征提取

面向FAST和可旋转的BRIEF(oriented FAST and rotated BRIEF,ORB)[20]是一种快速特征点检测和描述的算法,可以通过试验证明ORB比SIFT快两个数量级。该算法基于改进与优化的FAST关键点检测器和BRIEF二进制描述符方法,改进后的算法解决了BRIEF描述子不具备旋转不变性的问题,并通过构建高斯金字塔,在每一层金字塔图像上检测角点,实现尺度不变性,关键点检测与描述流程如图3所示。

2.1.1 关键点检测

加速段测试特征(features from accelerated segments test,FAST)的检测算法是公认的最快的特征点提取方法,使用以点P为中心点的圆上的像素,设置阈值强度,统计连续比点P更亮或者更暗的点的数量,只有该数量达到一定的条件,点P才会被视为特征点[21]。但是该算法的特征点不具备尺度不变性,因此首先建立图像高斯金字塔,设置比例因子为1.2,为了保证整体匹配精度,金字塔的层数为8;然后在每层金字塔上采用FAST算法提取特征点,采用Harris角点函数响应值对关键点排序,确定要查找的最大关键点数为150,堆积层形貌检测到的关键点如图4所示。

为了使关键点具有旋转不变性,使用灰度质心法,通过计算像素点与邻域像素点的矩得到这一区域的质心;特征点与质点的夹角作为FAST特征点的主方向。这个计算过程得到的特征称为定向FAST特征(oriented-FAST,oFAST)。

2.1.2 特征描述

上述算法找到了关键点的位置和方向,接下来利用这个关键点将其周围区域的信息用一组向量描述出来,由此可以减少旋转和尺度变化等带来的影响。

二值鲁棒独立基本特征(binary robust independent elementary features,BRIEF)描述子[22]采用二进制字符串作为特征点描述符,速度更快,同时,它有着很好的识别率。首先平滑图像,然后在关键点周围随机选取256个像素对,定义二值τ

(1)

式中P(A)为P在A点的强度。比较两个不同像素点的明暗关系,得到0或1的结果,将所有结果组合就是BRIEF特征。OpenCV以字节为单位表示,因此每个关键点的特征描述符数量为32。虽然ORB提取图像特征较少,但更有意义[23],保证了识别准确率的情况下加快了图像处理速度。

为了解决特征的旋转不变性,ORB算法采用oFAST特征点的主方向作为BRIEF描述子的主方向,将旋转后的描述子记为steered BRIEF。结合贪婪算法筛选出类内方差大、相关性低的采样点对,最终提取出的BRIEF特征称为rBRIEF特征。

整个特征提取与训练过程是在一台配置为Intel(R) Core(TM) i5-8300H CPU、8.00 GB RAM的笔记本电脑上,基于Python 3.7,opencv-python 4.5.3.56 提取出14 000张堆积层形貌图像共1432 130个ORB特征向量,用时大约90 s。

2.2 基于BOW模型的特征编码

考虑到不同图像具有不同数量的ORB特征点,为了得到维度相同的特征向量表示每张图像用于堆积层形貌缺陷的识别,使用词袋模型(bag of word,BOW)对上述得到的ORB特征编码[24]。BOW模型通过对底层信息进行统计,得到相关概率统计信息,克服了底层特征引起的语义鸿沟。

本研究使用ORB描述子作为特征点,其快速的特征点检测与二进制串的表达形式,使得BOW模型的训练十分方便。使用Kmeans算法对图像数据集中所有的ORB描述子进行聚类,形成n个聚类中心即包含n个簇,一个聚类中心代表一个视觉单词,所有视觉单词做成视觉词典,词典构造完以后,根据统计堆积层形貌图像训练集中每个特征向量到聚类中心的距离,将其分配到最近的视觉单词,记录每个聚类中心在图像的出现频率,最终将每张图像表示成视觉单词直方图。这样就能用一个向量来描述一幅图像,在很大程度上减少了计算量,实现图像的全局表达,并且生成的最终向量维度相同便于分类器的训练。

3.1 支持向量机与参数优化

本文采用支持向量机(support vector machine,SVM)对4种不同堆积层形貌识别。SVM基于结构风险最小化原则,具有良好的泛化性能和计算效率[17],是处理工程分类问题的常用方法。给定训练样本集

(2)

SVM通过选择一个优化的超平面来分离数据点,使两类之间的差值最大化,其可以描述为如下的优化问题[25]

(3)

约束条件为

yi(wxi-b)≥1-ξi,ξi≥0,i=1,…,l

(4)

式中:w为与超平面垂直的向量;C为惩罚因子;ξi为稀疏变量。

在本文SVM模型中,核函数类型为径向基(radial basis function,RBF)核函数

k(xi,x)=exp(-γ‖xi-x‖2),γ>0

(5)

核函数的作用是将训练向量xi映射到高维空间,从而在高维空间进行线性分类[26],核函数参数γ取值越小,模型分类就越细致,但会出现过拟合问题。误差项惩罚因子C>0的作用是权衡训练风险与模型结构风险,惩罚因子C越大,则训练风险越小,模型结构风险越大,会存在过拟合问题;反之,则存在欠拟合问题。

尽管SVM在默认值下运行良好,但参数优化可以帮助提高SVM的性能[27]。采用网格搜索算法与k-fold交叉验证寻找最佳的γ和C值。设置C和γ的搜索范围同为[0.001,0.01,0.1,1,10,100],将堆积层形貌特征数据集随机提取70%作为训练集,然后将训练集等分为10个互斥子集。对于网格中每一组(C,γ),不重复地取任意一个子集作为测试数据,其余子集作为训练数据[16],统计10次训练交叉验证准确率均值。

3.2 缺陷识别结果

Kmeans聚类算法中参数n代表BOW模型聚类中心的数量,决定了编码后最终特征向量的维度,取值变化会影响堆积层形貌识别算法的准确率[28]以及编码过程、SVM模型训练和识别的用时,所以上述网格搜索算法与k-fold交叉验证是在n分别取值为100、200、300、400、500时基于Python的Scikit-learn库来实现的。

随着n增大生成的视觉单词直方图维度变大,使得BOW特征编码与SVM形貌识别时间增长,尤其是SVM在识别更高维度的特征向量时需要更多的时间,对应SVM网格搜索算法的最优参数如表3所示。

表3 SVM模型最优参数与准确率

对于参数n的不同取值,所得到ORB-SVM模型识别单张图像的时间如图5所示,处理单张图片特征提取大约耗时6.4 ms,在整个视觉识别过程占比超过50%,从而导致整个系统的滞后,所以提升特征提取的速度是发展实时检测的关键。

当n=500时,模型准确率没有升高反而需要更多地运行时间,所以选择n=400、C=10、γ=0.01为ORB-SVM模型参数,此时识别单张图片形貌的时间约为9 ms,测试集准确率为0.96。对比课题组前期基于NVIDIA RTX 2080 Ti GPU运算识别结果为12 ms/帧,准确率为0.99[19],该算法无需借助昂贵的GPU,能够在保证较高识别准确率下获得更快的识别速度。

图6为识别结果的混淆矩阵,可知大部分测试样本都被正确地识别。根据混淆矩阵计算的模型评价指标如表4所示,模型性能以F1分数衡量[29]

(6)

式中:P为精确率;R为召回率。各类别F1分数全部大于0.94,证明模型效果较优。

表4 不同类别的精确率、召回率和F1

由于电弧复合熔滴成形过程涉及众多参数和一系列复杂的材料冶金、物化及热力耦合现象,不可避免会出现形貌缺陷问题。为了提高堆积层成形质量,并且考虑到识别速度对实时应用来说极为关键,本文利用ORB算法自动检测堆积层图像关键点,基于BRIEF的二进制特征描述,可以高效、快速地存储在内存中,能够在计算资源非常有限的设备上运行;使用BOW模型对ORB特征编码得到维度相同的特征向量用于堆积层形貌缺陷的识别;视觉单词的数量决定最终特征向量的维度,并显著影响SVM识别时间,借助网格搜索算法与k-fold交叉验证优化SVM的超参数,模型在参数n=400、C=10、γ=0.01时识别形貌的准确率为0.96,识别速度约为9 ms/帧,表明了该模型的优越性。