基于纹理图样与语义分割算法的CFRP/钛合金叠层材料制孔毛刺识别

王守文，王贤锋，陆泰屹，于思泓，蒋景行

上海飞机制造有限公司

CFRP/钛合金材料作为一种重要的优质复合叠层基础材料，被广泛用于对重量限制和约束性强的航空航天制造领域，相比于铝合金及不锈钢等材料，具有抗腐蚀能力强、强度较高以及耐高温等特性。钛合金与碳纤维材料组成的复合叠层材料电化学相容性好，结构强度和刚度较为匹配，且整体质量轻，能够有效提升现代飞行器的结构性能。

目前航空制造过程中，紧固件主要采用螺栓、螺钉与铆钉工艺，需要制备大量的安装孔位。钛合金和CFRP材料作为两种典型的难加工材料，其叠层材料的制孔工艺在近年来受到广大研究者的关注。孙鹏程等[1]在一体式钻削加工中对叠层材料制孔质量的影响规律进行了研究，结果表明，高转速和较低进给量能够有效减少叠层材料的CFRP端面撕裂缺陷形成和改善孔出入的质量。张辉等[2]采用参数组合的全面试验优化低频振动制孔的加工参数，并对比了振动制孔与传统制孔方式的刀具磨损。王奔等[3]对有无钛合金底座支撑的CFRP/钛合金材料加工损伤差异进行了研究，其团队进一步研究了钛合金支撑底座对切削温度的影响，对比分析了两种加工方式下的切削温度，表明钛合金支撑底座对切削温度的影响较大，会导致较严重的亚表面损伤，并解释了这一损伤机理[4]。顾立晨等[5]研究了钻锪一体刀具在叠层材料制孔中的设计方法，分析认为，顶角、螺旋角以及双刃带的设计能够有效减少切削阻力，降低切削热，提升钻尖锋利程度，从而有效减少钻削的毛刺产生。

碳纤维、钛合金等难加工材料的制孔质量监测主要包括三种方法：加工过程物理仿真、数学概率模型以及数据驱动类的人工智能监测模型方法。数据驱动类可分为基于多种时间序列信号的在线监测及机器视觉方法两大类。王帅斌[6]研究了钻削力信号和应变信号与CFRP材料制孔质量间的关系。刘红岩[7]研究了基于钻削力信号、振动信号和声发射信号的多传感器信息融合的制孔过程刀具磨损监测。机器视觉方法主要采用离线的工具显微镜测量。李政彤[8]研究了制孔定位识别算法，采用模板匹配识别制孔位置，再利用Hough圆检测算法对孔边缘拟合，实现孔尺寸检测。

基于迁移学习的语义分割算法深度学习模型是借助于大型自然场景中预训练的特征知识，能够在较少的监测样本下实现钻削加工毛刺的准确分割。全卷积网络是最早用于语义分割任务的深度学习模型。FCN采用全卷积形式，其结构特性不同于一般的深度学习模型，采用了连接层或者全局池化层作为模型输出的特征层，因而模型具有较好的尺度不变性。作为一种端到端的模型，相比于FCN结构中的反卷积，SegNet的解码结构不需要通过特征学习来实现对原图像素分类的重构。SegNet的编码及解码结构进一步提升了语义分割的性能，其编码器对应的卷积结构通过池化层可不断提升感受野大小，同时缩小特征图尺寸；
而解码层对应的卷积模块使特征逐步还原为原始图像尺寸；
最后，通过Softmax层输出像素点在不同分类的最大分数对应类别，完成监督学习下的图像语义分割。

本文提出了一种用于叠层材料毛刺识别的深度语义分割模型MSegNet。该模型通过一定量的制孔边缘及毛刺标注纹理照片，结合显微镜测量的刀具磨损状态，研究了边缘毛刺纹理图样，刀具磨损以及孔质量之间的关联，即可实现较为准确、鲁棒的制孔质量监测。

MSegNet模型可通过监督学习方式训练得到深度学习模型来识别分割数字图像对应的不同语义部分。通过像素级的标注，训练图像被分割为不同语义块，即每个像素都被分配有特定标签。具有同一标签的像素在形状、纹理或其他抽象特征等方面具有相似性。不同标签区域的纹理尤其在边界区域往往存在显著差异性。

MSegNet模型结构如图1所示，连续上采样与下采样过程能够实现准确、稳定及快速的语义分割。引入了轻量级深度可分离卷积结构，将通道进行分组，然后通过点卷积实现对最终特征图的拼接。特征图的通道数为前一层标准卷积通道数与分组卷积组数的比值。将这些组卷积结果进行拼接，最终输出特征图，令任意深度可分离卷积模块前一层标准卷积的特征图尺寸为h1×w1×c1，那么每组输入特征图的尺寸为h1×w1×(c1/g)；
令每组输出特征图的尺寸为h1×w1×(c2/g)，那么g组结果拼接得到的特征图尺寸为h1×w1×c2。

图1 改进设计的MsegNet模型

令输入特征图尺寸为DF×DF×M，卷积核尺寸为DKS×DKS×M，输出特征图尺寸为DF×DF×N，则标准卷积参数量为

β1=Dk×Dk×M×N×DF×DF

(1)

由于深度可分离卷积中的分组卷积特征是由点卷积拼接而成，且其输入层和输出层通道数相同，即M=N，则深度可分离卷积参数量为

β2=Dk×Dk×M×DF×DF+M×N×DF×DF

(2)

则深度可分离卷积和标准卷积的比值为

(3)

模型的输出层是对像素进行分类，令像素的预测标签为q(xi)，真实标签为p(xi)，则模型像素分类的交叉熵损失为

(4)

为降低模型对简单样本的训练次数，提升模型对难区分负样本的识别与语义分割能力，引入解调因子，则改进后公式为

(5)

式中，αt为解调因子，根据类别频率的逆解确定；
γ>0为语义分割深度学习模型的超参数处理。

以SegNet为基准Baseline结构，针对毛刺识别切削加工在线监测问题的实际需求，设计了深度可分离卷积的效率提升模块以及针对难辨识工件增强的损失函数DFL(K-L)，优化了模型在实际监测场景下的执行效率，并保持较好的准确性。

如图2所示，对CFRP/钛合金叠层材料进行钻削过程监测实验，为充分利用材料，对单块叠层材料进行多排连续制孔。钻削机床为VMC850立式加工中心，主装夹方式为压板螺栓和设计夹具固定，钻削方式为干式切削。

3.1 钻削制孔实验与数据采集

图2为制孔加工实验数据采集以及采集纹理图样预处理。通过压板螺栓，将上、下叠层的钛合金板材和CFRP板材装夹在机床工作台。其中板材与孔径、深度等加工参数尺寸如表1所示。

图2 CFRP/钛合金材料以及钻削制孔实验布置

图3为机器视觉系统采集的孔边缘原始图样以及标注方式。图像采集系统通过工业相机配套镜头以及环型光源实现。采集数据为CFRP材料钻削加工孔的边缘毛刺。

(a)原始图像

(b)标注图像

3.2 语义分割模型训练与测试

深度学习模型的训练是保证模型性能的关键环节，其训练过程直接决定了模型的准确性和泛化性能。卷积神经网络的模型训练可分为前向传播过程和反向传播过程两个阶段。

基于SegNet编码器与译码器的对应式结构改进的MSegNet模型均能有效提取语义分割所需特征，同时能够自动重构出语义分割后的图像。表1为材料参数及加工参数，表2为语义分割毛刺识别正确的统计结果。毛刺像素级分割结果IOU≥0.6时则判定为识别正确。图4为语义分割识别结果的典型样例。

表1 材料参数及加工参数

表2 毛刺纹理图样语义分割的统计结果

图4 CFRP/钛合金叠层制孔边缘纹理图像的语义分割结果

结果表明，该模型对上、下端面较粗的毛刺能实现较准确识别；
而对于显著性较弱的毛刺，由于其像素占比低，识别会存在漏报情况。模型识别精度达到了与自然场景相当的效果，因此，该模型对工业场景在线监测应用能实现不同阈值的有效识别。由表1统计结果可得，上、下端面出口处毛刺的识别不存在特异性情况，模型均能实现较准确稳定的识别。

图5的模型测试深度学习超参数设置如表3所示。模型训练参数根据通用性自然场景分割模型的经验性参数设置[9]，并根据工业场景的数据特点进行相关调整[10，11]，尤其当工业加工过程存在工况类型复杂多变、数据特性复杂等问题时，需提升模型的鲁棒性[12，13]。

表3 MSegNet模型超参数设置

由表4可得，MSegNet模型比基线模型FCN有较大提升，通过进一步对比和消融实验发现，深度可分离卷积模块能够有效提升SegNet模型的实时性能，并能同时保持较好的稳定性和准确性。

表4 基于深度学习的语义分割模型的横向比较

图5 语义分割深度学习模型训练过程统计(准确率vs迭代周期数)

研究了对CFRP/钛合金叠层材料制孔的机器视觉采样与监测方法，实现了对复材叠层制孔边缘毛刺的准确、鲁棒识别。通过采集VMC850机床在7000r/min时复材叠层加工孔边缘纹理图样完成实验验证。结果表明，设计的改进型MSegNet模型能够有效、准确而快速地识别复材叠层孔的边缘毛刺。

基于采集的实验数据及开展的深度学习语义分割模型训练、测试过程可视化，证明了MSegNet模型在Epoch次数100左右可实现较好收敛，且平滑后验证集损失小于0.7，测试集损失小于0.5。训练得到的模型(MSegNet)在执行效率指标(如推理时间和内存占用)优化的同时，m-IOU系数与准确度等精确性指标也能保持较优效果，m-IOU达70%，准确度达91%以上。