基于改进DRLSE模型的焊接缺陷特征提取方法

章诚，宋燕利,1c，李汉培，高昶霖，左洪洲

基于改进DRLSE模型的焊接缺陷特征提取方法

章诚1a,1b，宋燕利1a,1b,1c，李汉培2，高昶霖1a,1b，左洪洲2

（1.武汉理工大学 a.现代汽车零部件技术湖北省重点实验室 b.汽车零部件技术湖北省协同创新中心 c.湖北省新能源与智能网联车工程技术研究中心，武汉 430070；
2.湖北省齐星汽车车身股份有限公司，湖北 随州 441300）

针对目前大多数焊接缺陷自动特征提取方法存在的准确度较低的问题，研究满足准确度要求的X射线图像中焊接缺陷特征提取方法。对图像进行增强去噪预处理后，在初步确定焊缝区域的基础上，根据焊缝图像列灰度值曲线梯度特性，设计基于灰度值梯度的焊缝边界精确提取算法；
以提取得到的焊缝精确边界为初始轮廓，提出基于改进DRLSE模型的焊接缺陷特征提取方法。基于改进DRLSE模型的焊接缺陷特征提取方法能够有效地提取气孔、夹渣、未熔合和未焊透等缺陷特征，准确率达到94.6%。所提方法克服了原始焊缝X射线图像质量较差、背景复杂的问题，能够精确提取焊缝区域边界，并准确地对各种焊接缺陷进行特征提取，具有较强的适应性和实用性。

X射线图像；
灰度值梯度；
焊缝边界；
改进DRLSE模型；
特征提取

X射线作为工业常用的无损检测手段之一，广泛应用于航空航天装备、压力容器等先进制造领域的焊接接头质量的检测[1-2]。目前，对于X射线图像中焊接缺陷的检测工程多采用传统的人工评定方式，受检测人员专业知识和经验的影响，存在效率低、漏检和一致性较差等缺点[2]。因此，为了提高焊接质量评价的客观性与连贯性，提高检测效率，焊缝X射线检测图像缺陷自动检测已成为无损检测发展的重要方向。

自20世纪70年代Shafeek等[3]最早提出关于X射线焊缝缺陷自动检测的图像处理算法起，国内外许多学者随之对焊缝X射线图像中的缺陷自动提取进行了探索和研究。Alaknanda等[4]应用了具有适当阈值的Canny算子来检测缺陷边缘轮廓，并使用形态学图像处理方法使轮廓闭合，但是该方法存在漏检和误检的情况。Mahmoudi等[5]在整幅图像上采用全局阈值的方法对焊缝区域进行了提取，当焊缝区域大致确定后，再采用局部阈值的方法对焊接缺陷进行提取。该方法虽然对一般缺陷提取有一定效果，但对形状复杂、边缘模糊的缺陷提取效果不明显。Chen等[6]使用经验模态分解（Empirical Modal Decomposition）方法自动提取了X射线图像中的小缺陷。该方法使用香农熵理论来描述信号源的平均不确定性，并结合峰值信号比来控制EMD的分解级数，能有效地提取出工件内部的小缺陷以及任意方向和类型的缺陷。Shao等[7]使用低阈值的缺陷分割算法对所有潜在焊接缺陷进行分割后，采用修正霍夫变换跟踪潜在缺陷的重心，将无法跟踪的潜在缺陷剔除。实验结果表明，该方法可以高准确性地检测焊接缺陷，避免噪声引起的误检。李雪琴等[8]提出了采用三阶Fourier曲线对图像列灰度曲线进行拟合并扩展到三维空间，构造自适应阈值面，利用原图像域构造曲面三维灰度图的灰度值差异，准确分割背景与缺陷区域。Boaretto等[9]使用Weiner滤波器、直方图均衡化和Otsu技术定位和分割焊接缺陷，然后将提取到的缺陷特征输入前馈多层感知器（MLP）中进行分类。实验结果表明，分类器准确率达到88.6%。Yan等[10]建立了多尺度多强度参数空间对图像进行预处理，并根据焊缝检测标准和射线图像特性，自动限制参数的取值范围，优化预处理图像，然后设计用于筛选和合并不同图像中缺陷的算法，以减少错误检测并提取精确的缺陷边界。实验结果表明，该算法具有较好的鲁棒性和准确性。Malarvel等[11]提出了一种在X射线图像中使用改进Otsu算法进行焊接缺陷检测的方法。实验结果表明，该方法对于X射线图像中的焊接缺陷提取有良好的效果。Abdelkader等[12]应用了模糊C均值（FCM）算法选择初始轮廓，然后使用了Chan-Vese模型和选定的初始轮廓对获取的图像进行分割并获得焊接缺陷的边界。实验结果表明，该方法可以有效提取焊接缺陷。近些年来，由于大数据和计算能力的提高，深度学习得到了很大的发展[13-15]。基于其在图像特征学习中的出色表现，促使人们将其应用于自动缺陷检测中[16-19]。虽然深度学习可以学习替代传统图像处理的分层功能，但是其性能很大程度上取决于数据集的规模和质量，且模型十分复杂，前期训练准备时间很长。

综上所述，人工评定焊缝质量的方式高度依赖于工人的技术水平和经验，受主观因素影响大，且效率较低。采用智能算法对焊缝X射线检测图像评定时，受焊缝X射线检测图像清晰度及缺陷类型多样化、形貌复杂化等因素影响，缺陷提取的精度较低。针对此问题，进行X射线检测图像焊接缺陷特征提取方法的研究。

在原始焊缝X射线检测图像中，大部分区域是文字编号（图1中线框①、②、③所包含区域）和母材背景等无关信息，焊缝区域（图1中虚线1、2所包含区域）只占据较小的一部分，并且焊接缺陷（图1中线框④所包含区域）只存在于焊缝区域之中。因此，为了提高焊接缺陷特征提取的准确度与效率，需要先对焊缝区域进行精确提取。针对此问题，首先对原始焊缝X射线检测图像进行预处理以提高其图像质量，然后对其图像特性进行分析，探索设计关于焊缝区域边界的精确提取方法。

图1 原始焊缝X射线检测图像

1.1 图像预处理

由于射线图像具有对比度低、灰度范围窄和噪声强度大的特点，需要对其进行预处理操作以提高图像质量。预处理主要包括对比度增强和噪声过滤。首先对焊缝X射线检测图像进行模糊增强处理，提高其对比度，然后进行高斯滤波去噪，得到高质量的焊缝图像，处理后的图像如图2所示。

图2 经图像增强与去噪后的焊缝图像

1.2 焊缝区域初步确定

从图2可以看出，在焊缝X射线检测图像中焊缝区域是一条明显的带状区域，且与背景区域相比，其整体亮度（即灰度值）明显更高。基于这一特性，设计了如下的逐行计算平均灰度的焊缝区域初步确定方法：

1）对于经过预处理后的×焊缝X射线检测图像，逐行计算其平均灰度值，得到一组记录每行平均灰度值的向量={1，2，3，…，G}，记平均灰度值最大的一行行数为max（图3实线③所示），以max作为搜索上边界的起点。

2）从max行开始，向上逐行遍历向量，当某一行的平均灰度值低于阈值a时，则停止移动，将该行作为焊缝区域的初步上边界1（图3中虚线②所示）。经过反复尝试，a=90时可达到较好的效果。

3）与搜索上边界类似，从max行开始，向下逐行遍历向量，当某一行的平均灰度值低于阈值a时则停止移动，将该行作为焊缝区域的初步下边界2（图3中虚线④所示）。

4）为确保边界1、2之间能将焊缝区域完全包含，需要将1、2扩大原始焊缝X射线检测图像高度的5%～10%，即初步确定的焊缝区域上边界1=1+(5%～10%)´，下边界2=2+(5%～10%)´（图3点划线①、⑤所示）。

图3 焊缝区域初步确定方法示意图

5）根据所得初步焊缝区域上、下边界对原始焊缝X射线检测图像进行裁剪，以方便后续进行焊缝边界精确提取操作。裁剪后初步确定的焊缝区域图像如图4所示。

图4 裁剪后初步确定的焊缝区域图像

1.3 焊缝边界精确提取

对裁剪后的的×焊缝X射线检测图像从左至右逐列进行灰度值扫描，得到个记录图像各列灰度值数据的向量。然后对每个向量进行光滑样条拟合处理，得到个灰度值函数曲线。拟合得到的无缺陷列和有缺陷列的灰度值函数曲线如图5a、b所示。

图5 无缺陷列与有缺陷列灰度值曲线及其梯度变化曲线

从图5a、b中可以看出，灰度值曲线的两端向内延伸，图像灰度值最开始变化得比较缓慢，但在经过某一处边界之后，其灰度值的变化速度就急剧增大。为了更进一步探究焊缝X射线检测图像中焊缝边界处的灰度值变化规律，对拟合得到的灰度值函数进行二次求导得到其梯度变化曲线，如图5c、d所示。

从图5c、d中可以看出，灰度值函数的梯度变化曲线在两端都存在一个极大值点。将其与图5a、b中的灰度值函数曲线进行比较可知，这两个极大值点就是焊缝区域的上、下边界点。在裁剪后的焊缝X射线检测图像高度区间内，灰度值函数梯度变化曲线存在多个极大值点，且部分极大值点位于焊缝区域的内部，这是由于焊缝区域内部存在亮度起伏或者该列灰度值曲线穿过了缺陷，导致其梯度发生变化。因此，如何排除位于焊缝区域内部的干扰点，对曲线两端的焊缝边界点进行精确的定位，就是此时需要解决的问题。

基于以上分析，设计基于焊缝X射线检测图像灰度值特性的自适应焊缝边界精确提取方法步骤如下。

1）对图像逐列进行灰度扫描，将扫描得到的离散灰度值向量导入MATLAB中的Curve Fitting工具箱中进行光滑样条拟合处理，得到其灰度值拟合函数曲线（图6中曲线3所示），然后对拟合函数依次求导得到其梯度曲线（图6中曲线1所示）和梯度变化曲线（图6中曲线2所示）。

图6 焊缝缺陷列灰度值、梯度和梯度变化曲线

2）针对图像各列的灰度值曲线，通过分析其梯度曲线得到所有极大值点，将其放入数组*中。遍历*中的所有极大值点，如果该极大值点的灰度值小于阈值（考虑到某些焊缝X射线检测图像背景区域存在亮度起伏），则在*中删去此点（去除焊缝背景处的极值点），由此可得到图像各列灰度值曲线在焊缝区域内的极大值点数组。经过反复尝试，=50时较为合适。

3）根据得到的焊缝区域极大值点数组，选取其第一个元素1和最后一个元素end，然后在[1,1]和[end,]区间内寻找得到其梯度曲线的局部极大值点u和极小值点d，此时可确定焊缝上、下边界点位于[1,u]和[d,]区间内。

4）寻找得到在[1,u]和[d,]区间内梯度变化曲线的最大值点U和D，即为第列所寻找焊缝精确的上、下边界点。

5）重复上述步骤，对焊缝X射线检测图像所有列的灰度值曲线进行处理，获得个焊缝上边界点和个下边界点后，分别对其进行光滑样条拟合，即可得到焊缝精确边界。

使用上述焊缝边界精确提取方法进行焊缝边界提取实验，其结果如图7所示。

图7 焊缝边界精确提取结果

在精确提取到焊缝区域边界后，对焊接缺陷的特征提取操作则就可以在焊缝区域内进行，而不必再对整个焊缝X射线检测图像进行分析处理。此时，对于焊接缺陷来说，焊缝区域就成了背景区域。因此，如何在焊缝区域内准确地对焊接缺陷进行特征提取是此时需要解决的问题。

2.1 传统DRLSE模型

过去十几年里，水平集方法在图像分割领域内得到了广泛的应用[20]。水平集方法的基本原理是将低维目标的轮廓表示为更高维函数（Level Set Function，LSF）的零水平集（Zero level set），能够以自然有效的方式处理曲线的形状变化，例如一条封闭曲线演化为2条封闭曲线。传统的基于水平集方法的图像分割模型为了使曲线演化得更稳定，在演化过程中需要定期地对水平集函数重新初始化。为了避免重新初始化水平集函数带来的时间代价和数值偏差，Li等[21-23]提出了距离保持水平集演化（Distance Regularized Level Set Evolution，DRLSE）模型。水平集方法原理示意图如图8所示。

图8 水平集方法原理示意图[21]

Fig.8 Schematic diagram of the principle of level set method[21]

DRLSE模型提出了如式（1）所示的能量泛函。

式中：第1项为距离正则项，用于保证水平集曲线在演化过程中的光滑性；
第2项、第3项分别为引导水平集函数向目标边界演化的长度项和面积项；
代表图像区域，为定义在上的水平集函数；
、、是大于0的常量。

(3)

式中：s为轮廓演化的速度。

(4)

(5)

(6)

2.2 改进DRLSE模型

以预处理得到的焊缝边界为初始轮廓，分别使用传统DRLSE模型和改进DRLSE模型进行焊接缺陷特征的提取实验，提取效果如图9所示。

图9 基于传统与改进DRLSE模型的焊接缺陷特征提取结果的比较

观察图9a—c可以看出，对于1号图像中的缺陷特征提取结果，传统DRLSE模型出现了过度分割的情况，提取到的缺陷轮廓边缘呈锯齿状，而改进DRLSE模型提取的缺陷轮廓未出现过度分割，且缺陷轮廓边缘更为圆滑。而从图9d—f可以看出，对于缺陷边缘较为模糊的2号图像，传统DRLSE模型无法准确地识别焊接缺陷的边缘轮廓，把本应为同一个缺陷的轮廓分割成了不同的缺陷轮廓，而改进DRLSE模型则没有出现这个问题。

为了验证改进DRLSE模型对焊接缺陷特征提取的有效性，选取GDX‒RAY数据库中56张常规的直线型焊缝X射线检测图像作为实验验证的数据集。在MATLAB平台进行缺陷特征提取实验，从其中53幅图像中提取出缺陷，准确率达到94.6%，剩余3张图像未能提取出缺陷的主要原因是原始图像中缺陷边缘过于模糊，从而导致缺陷边缘未能被算法成功识别。其中有代表性的图像缺陷特征提取结果如图10所示，可以看出，各类型焊接缺陷，如气孔、夹渣、未熔合和未焊透等都可以被成功提取出来。

图10 基于改进DRLSE模型的焊接缺陷特征提取结果

针对目前大多数焊接缺陷自动特征提取方法存在的准确度较低的问题，进行了基于改进DRLSE模型的焊接缺陷特征提取方法的研究，得到以下主要结论。

1）基于焊缝区域的亮度特性，首先对焊缝区域进行了初步确定。在此基础上，分析了焊缝图像列灰度值曲线的梯度变化特性，提出了一种基于灰度值梯度的自适应焊缝边界精确提取方法。实验结果表明，该组合方法能够有效地去除焊缝X射线检测图像中的无关背景信息，实现对焊缝区域边界的精确提取。

2）以提取到的精确焊缝边界为初始轮廓，建立了距离保持水平集演化（DRLSE）的改进模型。通过对改进DRLSE模型与传统DRLSE模型在焊接缺陷特征提取结果的分析，结果表明，改进DRLSE模型能够对缺陷轮廓进行准确的分割，有效地改善了传统DRLSE模型所出现的过度分割、特征提取失准的情况。

3）为验证改进DRLSE模型对不同类型焊接缺陷特征提取的有效性，在MATLAB平台上进行了焊缝X射线检测图像缺陷特征提取实验。结果表明，所提出基于改进DRLSE模型的焊接缺陷特征提取方法能有效提取各种类型缺陷特征，准确率达到94.6%。

[1] 刘福顺, 汤明. 无损检测基础[M]. 北京: 北京航空航天大学出版社, 2002.

LIU Fu-shun, TANG Ming. The Basis of Non-Destr­uc­tive Testing[M]. Beijing: Beijing University of Aeronautics & Astronautics Press, 2002.

[2] MITRA S K, LI H, LIN I S, et al. A New Class of Nonlinear Filters for Image Enhancement[C]// Acoustics, Speech, and Signal Processing, IEEE International Con­fe­r­­ence on. IEEE Computer Society, 1991: 2525-2528.

[3] SHAFEEK H I, GADELMAWLA E S, ABDEL- SHAFYB A A, et al. Assessment of Welding Defects for Gas Pipeline Radiographs Using Computer Vision[J]. NDT & E International, 2004, 37(4): 291-299.

[4] ALAKNANDA, ANAND R S, KUMARB P, et al. Flaw Detection in Radiographic Weld Images Using Morphological Approach[J]. NDT & E International, 2006, 39(1): 29-33

[5] MAHMOUDI A, REGRAGUI F. Fast Segmentation Method for Defects Detection in Radiographic Images of Welds[C]// 2009 IEEE/ACS International Conference on Computer Systems and Applications. Rabat, Morocco: IEEE, 2009: 857-860.

[6] CHEN F L, WANG L M, HAN Y. X-ray Detection of Tiny Defects in Strongly Scattered structures Using the EMD Method[C]//2010 3rd International Congress on Image and Signal Processing. Yantai, China: IEEE, 2010: 1033-1037.

[7] SHAO Jia-xin, DU Dong, CHANG Bao-hua, et al. Automatic Weld Defect Detection Based on Potential Defect Tracking in Real-Time Radiographic Image Sequence[J]. NDT & E International, 2012, 46: 14-21.

[8] 李雪琴, 刘培勇, 殷国富, 等. 基于Fourier拟合曲面的X射线焊缝缺陷检测[J]. 焊接学报, 2014, 35(10): 61-64.

LI Xue-qin, LIU Pei-yong, YING Guo-fu, et al. Weld Defect Detection by X-ray Images Method Based on Fourier Fitting Surface[J]. Transactions of the China Welding Institution, 2014, 35(10): 61-64.

[9] BOARETTO N, CENTENO T M. Automated Detection of Welding Defects in Pipelines from Radiographic Images DWDI[J]. NDT & E International, 2017, 86: 7-13.

[10] BOARETTO N, CENTENO T M, et al. Automated Detection of Welding Defects in Pipelines from Radiographic Images DWDI[J]. NDT & E International, 2017, 86: 7-13.

[11] YAN Z H, et al. Multi-Scale Multi-Intensity Defect Detection in Ray Image of Weld Bead[J]. NDT & E International, 2020, 116: 102342.

[12] MALARVEL M, SINGH H. An Autonomous Technique for Weld Defects Detection and Classification Using Multi-Class Support Vector Machine in X-Radiography Image[J]. Optik, 2021, 231: 166342.

[13] ABDELKADER R, RAMOU N, KHORCHEF M, et al. Segmentation of X-ray Image for Welding Defects Detection Using an Improved Chan-Vese Model[J]. Materials Today: Proceedings, 2021, 42: 2963-2967.

[14] TOŠIĆ I, FROSSARD P. Dictionary Learning[J]. IEEE Signal Processing Magazine, 2011, 28(2): 27-38.

[15] LECUN Y, BENGIO Y, HINTON G. Deep Learning[J]. Nature, 2015, 521(7553): 436-444.

[16] CHEN Zhen-hua, HUANG Guo-liang, LU Chao, et al. Automatic Recognition of Weld Defects in TOFD D-Scan Images Based on Faster R-CNN[J]. Journal of Testing and Evaluation, 2020, 48(2): 20170563.

[17] PARK J K, AN W H, KANG D J. Convolutional Neural Network Based Surface Inspection System for Non-patterned Welding Defects[J]. International Journal of Precision Engineering and Manufacturing, 2019, 20(3): 363-374.

[18] PAN Hai-hong, PANG Zai-jun, WANG Yao-wei, et al. A New Image Recognition and Classification Method Combining Transfer Learning Algorithm and MobileNet Model for Welding Defects[J]. IEEE Access, 8: 119951-119960.

[19] GUO Wen-ming, LIU Kai, QU Hui-fan. Welding Defect Detection of X-ray Images Based on Faster R-CNN Model[J]. 北京邮电大学学报, 2019, 42(6): 20-28.

[20] GUO Wen-ming, LIU Kai, QU Hui-fan. Welding Defect Detection of X-ray Images Based on Faster R-CNN Model[J]. Journal of Beijing University of Posts and Telecommunications, 2019, 42(6): 20-28.

[21] YANG Lei, WANG Huai-xin, HUO Ben-yan, et al. An Automatic Welding Defect Location Algorithm Based on Deep Learning[J]. NDT & E International, 2021, 120: 102435.

[22] 王大凯, 侯榆青, 彭进业. 图像处理的偏微分方程方法[M]. 北京: 科学出版社, 2008.

WANG Da-kai, HOU Yu-qing, PENG Jin-ye. Partial Differential Equation Method for Image Processing[M]. Beijing: Science Press, 2008.

[23] LI C M, XU C Y, GUI C F, et al. Level Set Evolution without Re-Initialization: A New Variational Formulation[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA: IEEE, 2005: 430-436.

[24] LI C M, KAO C Y, GORE J C, et al. Implicit Active Contours Driven by Local Binary Fitting Energy [C]// 2007 IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis. MN, USA: IEEE, 2007: 1-7.

[25] LI C M, XU C Y, GUI C F, et al. Distance Regularized Level Set Evolution and Its Application to Image Segmentation[J]. IEEE Transactions on Image Processing, 2010, 19(12): 3243-3254.

[26] OSHER S, FEDKIW R, PIECHOR K. Level Set Methods and Dynamic Implicit Surfaces[J]. Applied Mechanics Reviews, 2004, 57(3): B15.

Welding Defect Feature Extraction Method Based on Improved DRLSE Model

ZHANG Cheng1a,1b, SONG Yan-li1a,1b,1c, LI Han-pei2, GAO Chang-lin1a,1b, ZUO Hong-zhou2

(1. a. Hubei Key Laboratory of Advanced Technology for Automotive Components, b. Hubei Collaborative Innovation Center for Automotive Components Technology, c. Hubei Research Center for New Energy & Intelligent Connected Vehicle, Wuhan University of Technology, Wuhan 430070, China; 2. Hubei Qixing Automobile Boy Co., Ltd., Hubei Suizhou 44300, China)

The work aims to study a feature extraction method for welding defects in X-ray images that meets the accuracy requirements, aiming at the low accuracy of most current automatic feature extraction methods for welding defects. After image enhancement and denoising preprocessing, based on the initial determination of the weld area, and according to the gradient characteristics of the gray value curve of the weld image column, an accurate extraction algorithm of the weld boundary based on the gray value gradient is designed; the precise boundary of the weld is the initial contour, and a feature extraction method of welding defects based on the improved DRLSE model is proposed. The results show that the welding defect feature extraction method based on the improved DRLSE model can effectively extract defect features such as pores, slag inclusions, incomplete fusion and incomplete penetration, and the precision rate reaches 94.6%. The method overcomes the problems of poor image quality and complex background of the original welding seam X-ray image, can accurately extract the boundary of the welding seam region, accurately perform feature extraction on various welding defects, and has strong adaptability and practicality.

X-ray image; gray value gradient; weld boundary; improved DRLSE model; feature extraction

10.3969/j.issn.1674-6457.2022.12.017

TG456.9

A

1674-6457(2022)12-0153-07

2020‒01‒01

湖北省技术创新专项（2019AAA014）；
教育部创新团队发展计划（IRT17R83）；
新能源汽车科学与关键技术学科创新引智基地（B17034）

章诚（1996—），男，硕士生，主要研究方向为无损检测。

宋燕利（1979—），男，博士，教授，主要研究方向为高端装备高性能轻量化制造。