用于LED芯片检测的景深合成系统

王笔神,刘红林

(中国计量大学 光学与电子科技学院,浙江 杭州 310018)

微型LED芯片[1]因其封装小、功耗低、使用寿命长等优势在现代电子工业中有着广泛的应用。微型LED芯片表面的缺陷会影响发光的稳定性,因此在微型LED芯片生产制造中,需要抽取样品进行缺陷检测。传统的检测方式是在显微镜下人工检测,但显微镜的放大倍数高,景深小[2],观察LED芯片时不可避免地会存在模糊区域。如果想完整地观测微型LED芯片的全貌,需要不断地手动调节显微镜的焦距来对LED芯片不同深度的切平面进行观测,动作繁琐效率低,而且容易出现人为误差。

为了突破显微镜的景深限制,近年来研究人员提出多种扩展景深的方法。如通过环形孔径[3]等手段扩大景深,但往往效果有限。随着数字图像技术的发展,借助计算机通过景深合成[4]算法对多张局部聚焦的图像进行融合,可以得到一张全局聚焦成像清晰的图像。相比于对显微镜进行改造的方法,景深合成算法能够得到更大景深的图像,并且易于观测和保存。

景深合成算法主要可分为基于空间域[5]和基于变换域[6]两种。基于空间域的景深合成是通过分析图像的空间特征来实现融合的,2001年Li等[7]提出通过分块的方式进行空间域的景深融合,但这种方法容易产生分块效应。之后Fedorov等[8]提出了基于局部聚焦估计的融合方法,通过以非矩形的形式分割图像在一定程度上减轻了块效应,但融合效果仍存在对比度偏低的问题。基于变换域的景深合成方法主要有小波变换和金字塔等。小波变换在图像融合领域的应用最早在1995年由Chipman等[9]提出,在2004年Forster等[10]提出了复小波变换在景深合成领域的应用,融合后的图像质量更高但也存在计算更复杂的问题。金字塔变换是最早提出的多尺度变换方法,根据金字塔构建的方法不同,可分为拉普拉斯金字塔[11]、梯度金字塔[12]和形态金字塔[13]等,其中拉普拉斯金字塔算法效率高融合效果好,应用最为广泛。

本文设计的景深合成系统,通过微动平台不断改变LED芯片与显微镜镜头的距离并进行拍摄,获得多张聚焦在不同平面的LED芯片图,再通过拉普拉斯金字塔算法对其进行融合,得到一张全局聚焦成像清晰的图像。该景深合成系统实现了图像采样的自动化,并且得到的融合图像易于观测和保存。此外,为了解决微动平台抖动带来的LED芯片偏移问题,我们采用了图像对齐算法进行校正。更进一步地,为了提升图像的融合效率,我们采用了把彩色图转灰度图做图像融合运算,再把融合后的灰度图还原成彩色图,相比于直接采用彩色图做图像融合运算能有效节省大量运算时间

1.1 原理分析

景深合成可以解决显微镜景深过小的问题。具体做法是将LED芯片沿着光轴运动并进行拍摄,得到LED不同焦平面上的切片图像,再将这些图像在计算机中以一定的规则进行融合,可以得到一幅大景深的LED图像。该大景深的LED图像的景深范围覆盖了LED芯片的剖平面,因此该图像全局聚焦、成像效果清晰。

1.2 硬件设计

用于LED检测的景深合成系统包含软硬件两部分,其中硬件部分由上位机、下位机、电机驱动器、微动平台、显微镜以及相机构成,如图1。

图1 硬件设备

其主要的工作流程为上位机传输信号告知下位机开始图像采集,下位机控制电机驱动器驱动微动平台工作,微动平台上下移动不断调整LED芯片与显微镜的距离,在调整的过程中通过相机拍摄显微镜成像图传输到上位机中进行合成。

1.3 图像处理

通过微动平台调整得到的多张不同焦平面上的LED图像,需要在上位机中融合成一张大景深的LED图像。处理过程可以分为图像预处理、景深合成以及图像后处理三个步骤。图像预处理包括图像灰度化和对齐,图像预处理之后再进行景深合成,得到的融合图是灰度图,需要通过图像后处理还原成彩色图。

2.1 图像预处理

在多帧LED芯片图像的融合之前,需要先完成图像的预处理。预处理包括灰度化和图像对齐。灰度化是将三通道彩色图转化为单通道灰度图,可表示为

Y=0.299R+0.587G+0.114B。

(1)

式(1)中,R、G、B分别表示图像的RGB三通道的像素值,Y表示灰度化之后图像的灰度值。

图像对齐[14]是为了消除微动平台在上下移动过程中产生的LED芯片偏移问题,使图像达到更好的融合效果。为了使后续采样得到的图像与第一张图像进行对齐,我们需计算每张图像的加速稳健特征点(SURF)[15]与特征向量。因为LED芯片发生了平移,所以需对齐图像与第一张图像中的SURF特征点的坐标位置并不一致,而是发生了仿射变换[16]

X=WX′。

(2)

式(2)中:X=(x,y,1)T,其中(x,y)代表第一张图中的特征点坐标;X′=(x′,y′,1)T其中(x′,y′)代表需对齐图像的特征点坐标。通过代入多个特征点的坐标,我们就可以求取仿射变换矩阵W,仿射变换矩阵W的形式为

(3)

求取仿射变换矩阵W之后,就可以对需对齐图像中的所有像素点乘以仿射变换矩阵W进行变换,变换之后再重新调整图像尺寸就可以实现与第一张图像对齐的效果。

2.2 图像后处理

经过景深合成得到的融合图是灰度图,需要还原成彩色图才能更好地反映出LED芯片的全貌。色彩还原是通过将融合后的灰度图与所有原图的灰度图作对比,按差值最小原则采样原色彩图在像素点上的RGB三通道像素值得到的。我们假设原图为三通道彩色图A和B,通过灰度化再融合得到单通道灰度图,则该灰度图还原成三通道的彩色图的计算公式如下：

(4)

式(4)中,CA表示原图A在像素坐标(i,j)处的RBG值,CB表示原图B在像素坐标(i,j)处的RBG值,GA表示原图A的灰度图在像素坐标(i,j)处的灰度值,GB表示原图B的灰度图在像素坐标(i,j)处的灰度值,GF表示融合后的灰度图在像素坐标(i,j)处的灰度值。

本文采用拉普拉斯金字塔作为景深合成算法,拉普拉斯金字塔算法效率高、应用广泛,得到的融合图具有对比度高、噪声小等优势。拉普拉斯金字塔算法的主要步骤为高斯金字塔分解、拉普拉斯金字塔生成、拉普拉斯金字塔融合以及拉普拉斯金字塔逆变换。

3.1 高斯金字塔分解

高斯金字塔能够非常清晰有效地描述图像的不同尺度空间。高斯金字塔分解的过程如图2。

图2 高斯金字塔

将要分解的图像设为G0,作为高斯金字塔的第0层,则高斯金字塔的其余层Gl(1≤l≤N)均可由上一层Gl-1经过卷积和降采样之后得到

(5)

式(5)中,w是二维的卷积核,可表示为

(6)

3.2 拉普拉斯金字塔生成

得到高斯金字塔后,再将高斯金字塔的相邻层做差减可以得到拉普拉斯金字塔,如图3。

图3 拉普拉斯金字塔

相比于高斯金字塔,拉普拉斯金字塔可以减去大量不必要的冗余信息,并呈现出相邻的两幅图像之间的差异。拉普拉斯金字塔的计算公式如下：

(7)

(8)

3.3 拉普拉斯金字塔融合及逆变换

多张原图可以得到多组拉普拉斯金字塔,再通过绝对值最大原则进行融合,可以得到一组新的拉普拉斯金字塔。最后再对新的拉普拉斯金字塔做逆变换可以构建高斯金字塔,该高斯金字塔的最底层就是融合后的图像。

(9)

通过上述算法,就可以通过融合后的拉普拉斯金字塔构建出新的高斯金字塔。而新的高斯金字塔的底层G0就是融合后的图像。

4.1 图像采集

在微动平台调整LED芯片与显微镜距离的过程中,通过相机拍摄可以采集到多张LED芯片图。设LED芯片的剖平面深度为D,显微镜的景深为d,为了获得较好的融合效果,采集的图片张数至少应为D/d,我们选取了两个LED芯片样品(分别记为样品1和样品2)进行图像采集和融合效果展示。每个样品采集8张图,并选取其中有代表性的4张采样图如图4和图5。

图4 样品1的采样图

图5 样品2的采样图

可以看到随着LED芯片与显微镜物镜的距离发生了改变,图像的聚焦区域发生了改变,图像的模糊区域也发生了改变。

4.2 图像融合

我们采用了C++语言调用OpenCV库编写了拉普拉斯金字塔、复小波变换以及拉普拉斯能量和三种图像融合算法,并在样品1和样品2的两组采集图上对比三种算法的融合效果,实验结果如图6和图7。

图6 样品1的融合图

图7 样品2的融合图

通过对比样品1和样品2的三种算法的融合图,可以得出相同的结论,即拉普拉斯金字塔法相比于拉普拉斯能量和法及复小波变化法,融合后的图像保留更多的细节,具有更好的对比度,噪声点更少,图像质量更高。

4.3 客观指标评估

为了客观地对比三种融合算法的差异,本文采用标准差(STD)和平均梯度(AG)作为客观的评价指标。其中标准差(STD)反映了图像的像素值与均值的离散程度,计算公式为

(10)

图像平均梯度(AG)反映了图像的对比度。AG值越大,图像对比度越高,因此常用于评估图像的清晰度。计算公式为

(11)

对样品1和样品2的三种算法的融合图分别计算STD和AG值,得到的结果如表1。

表1 融合后图像的标准差

从表1中可以看出无论是样品1还是样品2,基于拉普拉斯金字塔的融合图的STD值和AG值最大,说明相比于其它两种图像融合算法,拉普拉斯金字塔算法的融合效果最好。

针对显微镜景深过小在观测LED芯片时会出现局部模糊的问题,本文设计了软硬件相结合的景深合成系统,通过微动平台不断调整LED芯片与电子显微镜的距离进行拍摄,以此获得多张图像进行融合获得一张清晰锐利的LED芯片图像,该系统已成功应用于宁波升谱光电有限公司的LED芯片检测中。

在选择景深合成算法时,对比了拉普拉斯能量和、复小波变换以及拉普拉斯金字塔三种算法,发现拉普拉斯金字塔算法融合后的图像清晰对比度高,因此选取该算法作为系统的景深合成算法。此外，为了获得更好的融合效果,在融合之前对图像做了对齐的预处理;为了提高算法的效率,采用单通道的灰度图进行融合,融合之后再将灰度图还原为彩色图。