基于机器视觉的目标识别和表面缺陷检测研究

郭 宇

（山西晋中理工学院，山西 晋中 030600）

工业流水线中物体缺陷检测效率的提升及准确度的提高是当前工业自动化的重要环节。随着自动化技术的发展，普通的人工核检无论是效率还是准确率方面都不能满足自动化的需求，因而基于机器视觉的数字图像处理技术应运而生，该技术常用在目标标定、目标识别及追踪、物体缺陷检测环节。

人类对外部世界的感知依赖于大脑，并由大脑对脑部存储的大量知识与经验进行分析，得出相应的结论。比如，人类能够在人群中迅速分辨出认识的人，甚至可以不见其人，仅通过声音或脚步声等信息分辨。对于计算机而言，计算机视觉技术是实现计算机听、说、读、写等功能的基础，同时推动了自动化识别技术的发展。常见的自动识别技术包括条形码/二维码识别、生物特征识别、射频识别（RFID）、视频图像识别等。随着信息技术的发展、计算机处理能力的提升，以及网络覆盖范围的扩大，自动化识别技术的智能化和网络化水平逐步提升。

自动化识别工作中的第一步也是最主要的一步即确定目标位置，提取感兴趣区域，常用方法有背景减除法，通常利用颜色特征或灰度信息去除背景干扰，只留下前景中的大量信息进行处理；
相机标定法，获取空间物体表面点的三维几何位置与其在图像中对应点之间的相互关系，确定从三维场景到二维图像的转变，确定感兴趣区域后，可对图像的有效信息进行特征的选取，并进行精准提取与匹配。

图像特征是表征图像信息的主要元素，因此成为自动识别的重要环节。在进行特征提取时应当选取最具有代表性的特征，例如灰度图中颜色信息并不能很好地说明图像信息，应提取边缘、角点、特征点等信息描述图像。获得特征信息后进行图像分析，可用于如人脸识别、车牌识别、目标检测等。本文利用完整物品表面信息与缺陷物品表面信息进行对比、匹配，将感兴趣区域进行细化、标记。

缺陷物品表面位置标定后，可采用形态学处理手段，将缺陷信息完整展示，对比获得残次品信息，便于后期对工业标准不合格的目标物体进行抓取或其他操作。针对复杂的工业流水线运行场景里的目标物体，能有效识别与标记，减少人工复检工作量，提高流水线工作效率。

相机标定是2D图像信息与现实中3D信息转换的“纽带”。为确定空间物体表面某点的三维几何位置与二维图像中对应点之间的相互关系，建立相机成像几何模型及了解其内外参数成为必要条件。

以三维物体所在空间建立坐标系，描述物体在真实世界的位置，即真实世界、三维场景坐标系；
由拍摄设备进行多视角的拍摄，得到不同距离、不同角度的同一物体的照片，以相机的成像原理为依据，多为透射投影过程，得到从相机角度描述的物体位置，相机坐标系即二维照片场景；
从相机坐标系到二维直角坐标系的转换，到最后的图像像素坐标系的转换，要考虑图像的畸变影响，需要利用数学模型进行逐步逼近，从而得到可进行特征提取、匹配的像素点图像。整个三维场景坐标系到像素点坐标系的映射即相机标定的完整过程。

标定的目的主要为解决两个问题：①确定世界坐标系下三维空间点与像素平面像素点间的转换关系；
②确定相机成像过程中的畸变系，用于图像矫正。现今的相机标定方法遵循是否需要标定模板的标准，大致划分为3种：传统标定法、基于主动视觉的相机标定法和相机自标定方法。

2.1 传统标定法

传统标定法，也称摄影标定法，即利用一个形状和尺寸已知的物体作为标定物。主要步骤是先选定一块已知大小和结构的模板或已知相关特定数据信息的模板作为标定模板。之后利用摄像机拍摄多张模板的图片，构造二维图像像素点和真实环境位置之间的联系。完成上述两步后，根据标定模板和选定方法的思路获取摄像机的参数。

代表性算法为线性标定法，是利用线性方程组求解相机的内外参数，由于线性模型可以不用参考相机畸变的问题，因此相机标定会较迅速地完成，但精确度不高，对噪声较敏感，只适合视角较小的场景。

Tsai算法只考虑绝大多数情况下存在的径向畸变，利用最小二乘法线性求解超定线性方程组，得出外部参数；
再利用非线性优化方式求得内部参数。此方法适用于所有成像系统，适应性很强，而且标定精度高；
但因涉及非线性运算，导致结果不稳定。

2.2 基于主动视觉的相机标定法

利用某些已知的相机的某些运动信息对相机进行标定，不需要标定物，但需要控制相机进行特定运动，如三维空间的稳定平移、参数固定的旋转运动；
同时，拍摄多种图像，依据图像信息及已知的位移信息变化得到相机内外参数。计算过程可以进行简化，但是特定运动需要配合各类精准控制平台，成本高且受其标定方法限制，对于参数未知或不能控制的场合不适用。

2.3 相机自标定方法

该方法不需要标定物，只需要相机在运动过程中建立起拍摄的多张图像的对应关系。灵活性很高，但是精度较差、鲁棒性差且使用非线性方法标定过程复杂。

常见的自标定方法有分层逐步标定法、基于Kruppa方程的自标定法等。在标定过程中，可以使用标准机器视觉算法软件包（Halcon）提供的自标定算子，不需要精准的标定物，只需要图片中边缘的直线，即可得到相机的内参数，完成畸变校正。但在实际标定过程中，并不是所有物体都能获取到清晰的边缘，故该方法后期会采用棋盘、网格等作为标准标定物配合使用。

上述3类方法各有优点和缺点，适用于不同的场景。在工业流水线物体表面缺陷检测中，需要一种计算简便、硬件要求较低的方法。因此，综合以上要求，选择计算过程简单、条件易实现的传统标定算法——张正友研究的以其名字命名的标定方法，即张氏标定法为本文的相机标定算法。该算法不需要高精度的模板标定物，同时具有较强的鲁棒性，介于自标定与传统标定法之间。基本思路是选定一个较明显的标定模板，用相机从各个角度拍摄此标定模板，要确保角度多样化，最后推导拍摄图片中标定模板的特征点和其成像平面中像点的相应关系［1］。

张氏标定法中的标定物多为一个棋盘格平面，其标定步骤为利用棋盘格平面及相机和标定模板之间的相对位置拍摄的不同角度、距离的多张图片，计算单应性矩阵及其中多个未知量，进行二维投影变换；
通过单应性矩阵的计算结果，得到内参数矩阵、外参数矩阵，最大似然估计计算畸变参数，最终实现相机标定的目的，完成从世界坐标系到像素坐标系的变换。

图像特征点检测算法稳定性好，因此成为特征提取最常用的一类算法，广泛应用于医科、农业、工业、城市定位等领域，尤其是工业机器视觉检测领域。在工业机器人的目标匹配识别及定位领域中，机械手臂自动检测目标物体的场景位置是一项重要的工业生产自动化改进。通过相机标定处理后的目标场景图像进行目标的匹配识别和定位，其中涉及目标图像特征点的提取及匹配。下面简要论述其工作流程：①采集图像，初始化。通过相机、扫描仪或其他图像采集仪器采集目标图像的原始信息。在图像采集的过程中，由于设备的机械原因或者操作人员的人为因素造成图像尺寸、角度、格式、光照强度等方面的不良影响，所以要对采集的原始图像进行预处理操作。常用操作有图像的几何变换、二值化处理、灰度处理、去噪、滤波等，根据待检测物体所受干扰进行一项或多项选择。②特征提取及匹配。图像特征提取部分的作用是提取出最能表征目标物体的表面特征信息，并将其转化成特征向量或矩阵的形式。模式匹配是指系统用待测目标图像的特征信息和特征库的特征信息进行比对，通过选择合适的分类器达到识别的目的。

不同特征的选取能够有效展现图片不同角度的信息，常用的图像特征有颜色特征、特征点特征、形状特征、边缘特征、纹理特征等。将表面具有缺陷的物体与无缺陷物体进行对比、匹配，常用的特征点特征为SURF特征，对于每一个特征点都有对应的尺度因子，在进行匹配时，当两个特征点尺度因子之间的比率等于图像尺度的比率时，视为同一特征点，它具有较强的尺度不变性且计算效率较高；
SIFT特征，在实时视频流中有较多的应用，相比SURF，运算量较大，但在空间和位置上准确率更高，适用于高精度要求且不考虑耗时的场景［2］。

本文使用的目标图像特征点提取及匹配方案的整体框架如图1所示，首先特征提取模块负责模板图片和检测图片的特征点确定，可以根据实验目标的不同设置不同的特征点个数，以提高匹配率。然后根据特征匹配的结果，使用描述符找到准确囊括目标物体矩形框的4个角点，从而精准确定物体位置。

图1 图像特征点提取及匹配方案整体框架图

4.1 边缘检测算法

图像中的边缘与场景的物理属性有直接的关联，因此可以从检测到的边缘中获得很多场景与物体信息，所以边缘检测是图像处理中的关键操作之一。由于数字图像中的线、色彩、面积的检测主要依靠边缘检测算子，其中检测目标物体作为前景和其背景之间的像素差异、光照区别、纹理不同尤为重要。故边缘检测算法主要用于如图像分割、边界检测或目标识别等。所有的边缘检测方法都是通过像素值有越阶变化的像素点，或者使用掩模或者阈值对像素或者像素组之间的灰度级差别进行操作［3］。

不同的边缘检测算子侧重的检测点不同，导致检测结果不一样，所以在选择边缘检测方法的时候要根据目标对象的实际情况选择并灵活使用。边缘检测算法通常计算图片中各个邻域及量化灰度值变化率，并网罗了像素梯度方向的认定，绝大部分的测试方法基于微分运算，以导数模板为基础。根据导数阶数计算的不同，可分为一阶算子，常用的有Sobel算子、Prewitt算子、Robert算子等；
二阶算子常用的有Laplacian算子、LoG算子等。一阶算子通常会产生较宽的边缘信息，常用于边缘检测，而二阶算子对细节的增强及处理有更好的效果，多用于突出图像纹理信息。

在获取二值化图像后，对图像进行边缘检测，以及根据检测物体的形状特征进行边缘筛选，有效划分出待检测目标对象的边缘。为找到不同大小的缺陷，此处应根据待检测物体信息设置可变阈值对边缘进行筛选，得到目标物体的外围轮廓，所以对所有的轮廓进行面积处理，对所有的边缘进行面积计算，求得方差，根据方差筛选出正确的目标物体边缘［4］。

4.2 表面缺陷检测并标记

目标场景图像经过一系列去噪、增强、提取相关特征的操作后，基本满足对目标表面进行缺陷检测的前期必要条件。为了进一步提高对目标表面缺陷检测的准确率，可以根据已经经过预处理的图像效果采取下一步操作。图像中目标的划痕和自然凹陷细节已经经过处理显现出来，故要对图像进行腐蚀、膨胀等形态学处理，根据具体情况做开、闭运算操作，让缺陷更加明显［5］。

用连通域区域标记目标中的缺陷，即完成一次缺陷检测工作。如果后期还需要对工业标准合格和不合格的目标物体进行抓取或其他操作，可用描述子准确框定目标并建立图像坐标系，提取坐标，为后续工作提供位置参考依据。

本文针对复杂的工厂流水线运行场景的目标物体，使用机器视觉技术及数字图像处理做相机标定、目标识别、特征提取及匹配、边缘特征提取等研究。利用Visual studio、OpenCV、Matlab等软件技术和数字图像处理方法实现对表现具有缺陷的目标物体的识别定位工作和检测工作，该方法的算法精度和效率均符合工业生产的基本要求。