基于自适应标记分水岭算法的茶叶嫩芽图像分割方法

黄家才,唐 安,张 铎,高芳征

(1. 南京工程学院工业中心、创新创业学院, 江苏 南京 211167;2. 南京工程学院自动化学院, 江苏 南京 211167)

茶叶采摘环节对于名优茶品质影响较大,受限于时间和人力成本,采摘环节亟需提高智能化、自动化和机械化水平[1].随着机器视觉和机器人技术的发展,茶叶嫩芽采摘机器人应运而生.而在这一研发过程中,嫩芽图像分割是实现嫩芽针对性采摘功能的基础和前提.茶叶图像中嫩芽区域和非嫩芽区域(老叶、枝干等)色彩区别小、相似度高,且存在环境光干扰、叶片遮挡等问题,导致分割和识别嫩芽图像成为棘手难题.

目前,在茶叶嫩芽图像分割领域,相关研究人员已尝试了多种经典图像分割算法.文献[2]提取茶丛图像的超绿特征并结合OTSU算法进行嫩芽分割,分割效果良好,但分割后的嫩芽完整度欠佳.文献[3]采用基于Lab颜色模型中a分量、b分量信息的k-means聚类法识别彩色图像中的茶叶嫩芽,但存在分割不彻底的现象;文献[4]采用大津法和分水岭算法对茶叶嫩芽进行二次分割,分割效果良好,但大津法算法处理时间过长,不利于实际应用.依靠图像处理的嫩芽分割算法因外界环境的多变性和复杂性,鲁棒性有待提高[5].

本文提出一种基于自适应标记分水岭算法的茶叶嫩芽图像分割方法.传统分水岭分割算法是基于图像的灰度信息差异,对于复杂多变的自然光环境有着良好的适用性和容错性,故适用于茶叶嫩芽图像处理.考虑到该算法存在过度分割问题,本文通过对茶叶嫩芽图像进行特征提取并分析,发现嫩芽区域和非嫩芽区域的G通道分量值存在明显差异,并以此作为算法优化依据,设计一种基于G通道分量值的检测框,达到自适应选取起始标记点的目的,使得优化后的分水岭算法从起始标记点进行执行,从而解决传统算法在嫩芽边缘过度分割的问题.

1.1 嫩芽图像采集及预处理

为了最大程度还原实际采摘作业环境,本文涉及的茶叶嫩芽图像样本取自于实地拍摄.拍摄时间和地点:2022年3月,江苏省茶博园;拍摄设备:手机后置1 200万像素摄像头;图像样本尺寸:512×512像素(统一处理).

如图1所示,对茶叶嫩芽图像进行人工分割,标记嫩芽边缘轮廓,该分割结果作为理想对照组,用于计算统计茶叶嫩芽区域和非嫩芽区域的颜色因子均值.

图1 图像人工分割效果

1.2 颜色特征提取及分析

选取5张试验图像,并以图1的方式对其进行人工分割.以边缘轮廓为界限,轮廓分割线内部为前景区域,为嫩芽部分;分割线外部为背景区域,为非嫩芽部分,主要包含老叶、枝干等元素.

对这5张有明显嫩芽的图像,在RGB和HSV两种色彩空间上进行像素值分解并求取平均值.RGB色彩空间是工业界的一种颜色标准;HSV色彩空间则是一种比较直观、贴近人眼观察的颜色模型[6].各图像区域像素值分解后平均值结果如表1所示.

表1 茶叶嫩芽图像RGB和HSV颜色因子分解后平均值

从直观视觉上观察,新生长的嫩芽呈嫩绿色,周边的老叶和枝干等呈灰绿、墨绿色.由表1可见,前景(嫩芽)区域在代表绿色的G通道平均值和代表红色的R通道平均值大于背景(非嫩芽)区域的,但并未呈现明显的规律.图2为嫩芽图像样本在R、G、B三通道的灰度分解图.

(a) R

(b) G

(c) B

图3为嫩芽图像在H、S、V三通道分解灰度图.由图3可见:在H(色调)和S(饱和度)方面,嫩芽区域和非嫩芽区域并无明显区别;在V(明度)分量画面中,嫩芽区域更为明亮,V分量值更高,相对应嫩芽区域与非嫩芽区域在灰度值上有所差异[7].

(a) H

(b) S

(c) V

分水岭算法是一种基于拓扑理论的数学形态学分割方法,实现思路是把图像的灰度图看作地形图,每一点像素的灰度值代表地形海拔高度,每一个局部极小值区域及其影响区域称为集水盆,在注水淹没后,集水盆的边界则形成分水岭[8].样本图像的嫩芽区域和非嫩芽区域在灰度值上差异明显,符合分水岭算法的实现思路.

2.1 传统分水岭算法描述

设:M1、M2、…、MR为图像f(x,y)的极小区域;C(Mi)为与Mi区域相关的聚水盆地;图像f(x,y)中梯度的极小值为min,极大值为max;满足条件g(s,t)

T[n]={(s,t)|g(s,t)

(1)

根据几何意义,T[n]表示图像f(x,y)中低于g(x,y)=n平面的点集合,即第n步时的注水深度.任意给定的聚水盆地,将在第n步时出现一定程度的注水淹没(也可能不出现).假设在第n步时,极小区域Mi被注水淹没,则聚水盆地中C(Mi)形成的水平面所构成的区域,即与极小区域Mi相关的聚水盆地的那部分,表示为Cn(Mi).为了方便描述,假设Cn(Mi)是一幅二值图像,其计算式为:

Cn(Mi)=C(Mi)∩T[n]

(2)

因为Cn(Mi)为二值图像,所以可以简化描述为:在(x,y)的位置上满足(x,y)∈C(Mi)且(x,y)∈T[n],则Cn(Mi)=1,否则Cn(Mi)=0.如果此时极小区域Mi的灰度值是n,则在第n+1步时,极小区域与聚水盆地的注水部分完全相同,那么有Cn+1(Mi)=Mi.假设C[n]是所有聚水盆地中在第n步时注水淹没部分的并集,即:

(3)

则C[max+1]表示所有聚水盆地的并集,即:

(4)

在初始阶段,分水岭算法计算采用递归算法,即C[min+1]=T[min+1].假设此时C[n-1]已经确立,那么根据式(1),C[n]为T[n]的一个子集,而C[n-1]为C[n]的子集,根据集合的性质,C[n-1]也为T[n]的子集.所以,C[n-1]的每一个连通区域都严格地只包含于T[n]的一个连通区域.设Q是T[n]中连通区域的集合,那么对于每一个连通区域q∈Q[n],只存在三种可能:1)q∩C[n-1]为空集;2)q∩C[n-1]包含C[n-1]中一个连通分量;3)C[n-1]包含C[n-1]中至少一个连通分量.

根据上述三种可能性,可以由C[n-1]来确定C[n].当注水到达一个新的极小区域时,将会发生第一种情况;当某个极小区域的聚水盆地包含q时,为第二种情况;如果第三种情况发生,那么q必定与组成C[n-1]的部分注水盆地Cn-1(Mi)有交集.因此,为了防治注水淹没过程在单独的一个聚水盆地中溢出,必须在q内建筑一个水坝.至此,水坝即形成的分水岭.

在实际情况中分水岭算法对微弱的边缘有良好的响应[9],但图像中的噪声会使分水岭算法产生过度分割现象.在嫩芽图像中只需要嫩芽最外侧的轮廓边缘,如图4所示,因为光线、阴影等外界干扰的缘故,在嫩芽区域产生了过度分割现象.通过填色处理,可以更加直观地发现完整的茶叶嫩芽被拆分成不同的色域块,即完整嫩芽区域被分割为不同区域,距离理想嫩芽图像分割要求(图1中人工分割理想对照组)还有很大差距.

图4 传统分水岭算法分割效果

2.2 基于自适应标记的分水岭分割算法

传统的分水岭分割算法是基于输入图像的灰度梯度来区分前景、背景,存在过度分割问题[10],需要将过度分割部分相似的地方进行合并.改进思路是在水淹过程从预先定义好的标记点开始[11],这一改进思路依赖先验知识.因此,改进算法的关键在于准确标记图像,且尽可能减少人为干预.

改进依据为嫩芽区域在G通道分量均值上总是大于非嫩芽区域的,可以将待分割图像分解成若干个n×n像素的G通道分量检测框,进行一一比对计算,计算得出G通道分量均值最大的n×n矩形区域,即为嫩芽的一部分,标记该矩形区域,以该区域的灰度梯度作为根基梯度,执行分水岭分割算法.

假设单张嫩芽图像样本按照像素值被拆分成j个G通道分量检测框,每个检测框内包含n2个像素,G通道分量均值记为Gj,检测框内每个像素点的G值记为Gi(i=1,2,…,n2),则单个G通道分量检测框的均值为:

(5)

Gj值最大的检测框为:

Gmax=max[G1,G2,…,Gj]

(6)

以Gmax检测框的中心像素坐标作为标记点,从该点进行水淹,执行分水岭算法.

此外,G通道分量检测框的n值需根据图像样本大小设定,以本文统一处理的512×512像素为例,n取值为30～40,既可以截取到嫩芽区域的像素,也不会消耗过长的计算时间.

3.1 嫩芽图像分割流程

图5 本文算法和经典分水岭算法流程对比图

为了使改进后的分水岭算法分割效果显著,在对图像样本进行分割前需进行灰度处理、形态学开运算、噪声过滤等步骤,完整的茶叶嫩芽分割算法流程如图5所示,图5中对本文算法和经典分水岭算法流程进行了对比.

3.2 评价指标

本文试验结果采用交并比(intersection over union,IoU)来评判嫩芽分割效果,即两个区域(分割算法的分割结果和人工分割标准结果)的交集部分除以两个区域的并集部分得出的评价参数.

为了体现实际应用价值,将嫩芽分割处理时间纳入评价指标来表征算法的处理速度.

3.3 试验结果

表2为本文提出的嫩芽图像分割算法和其他经典图像分割算法在IoU和分割处理时间两项指标的横向对比试验结果.经典算法包括基于边缘的SIFT分割算法、基于图论的Grabcut分割算法和基于阈值的OTSU分割算法.

表2 几种算法的横向对比试验结果

SIFT算法是一种特征匹配算法,不仅需要输入待分割的样本图像,还需提供特征图,操作繁琐,在特征匹配过程中容易将目标图像中的前景特征点与原图像中的背景特征点误匹配[12];Grabcut算法是Graph Cut算法的迭代改进版,利用图像中的纹理(颜色)信息和边界(反差)信息进行分割[13],需要人为框选嫩芽图像作为前景区域,故处理时间无法衡量,不适用于批量处理;OTSU算法是依据前景、背景的类间方差差异来实现图像分割[14],单张样本处理耗时较长,IoU指标性能不理想,但实现过程无需人为干预,适合批量处理,且OTSU算法不受图片亮度、对比度等因素的干扰,研究人员倾向于将该算法作为二值化处理的最佳选择用于图像分割的预处理操作.

本文算法的IoU值为0.812,嫩芽分割效果优于其他经典图像分割算法,且单张图像样本平均处理时长适中.由此说明,由于茶叶嫩芽图像背景复杂、前景(嫩芽)和背景(非嫩芽)区分度小的缘故,经典图像分割算法已难以满足嫩芽分割需求.

表3为本文算法和传统分水岭算法的纵向对比结果,并比较了添加距离变换操作前后的分割效果.距离变换是图像处理领域的一种区分前景、背景方法,常作为前处理步骤优化分割算法.

表3 本文算法和传统分水岭算法纵向对比结果

由表3可见,本文提出的改进后算法比传统分水岭分割算法在IoU指标上提升了约20%,但处理时间从102 ms延长至312 ms,耗时主要集中在计算图像样本的G通道分量值、确定初始标记点的过程.距离变换对于分割效果的影响很小,甚至出现负优化效果.

图6为本文算法的分割效果图.由图6(d)和图4的对比可知,应用本文改进的分水岭算法后,嫩芽分割效果良好.以嫩芽区域为起始标记点有效地合并了梯度相似区域,使分割后的嫩芽区域较为完整,改善了传统分水岭算法过度分割问题.但在边缘细节处仍存在图像缺损问题,具体如图7所示.

(a) 灰度处理

(b) 噪声过滤

(c) 梯度计算

(d) 分割处理

(a) 人工分割

(b) 本文算法

1) 对现场采集的茶叶嫩芽图像进行特征提取,分析RGB、HSV色彩空间以及灰度图,从而选定适宜茶叶嫩芽图像的分水岭分割算法;

2) 针对传统分水岭算法在茶叶嫩芽图片上出现的过度分割问题,以G通道分量的差异为判断依据,设计了一种基于G通道分量值的检测框,通过比对计算,自适应选择G通道分量均值最高的区域中心为起始标记点,将该区域作为极小区域开始注水淹没处理;

3) 通过横向、纵向对比试验可知,本文提出的基于自适应标记分水岭的茶叶嫩芽分割算法的IoU指标为0.812,明显优于其他经典分割算法,同时也改善了传统分水岭算法的过度分割问题.

本文提出的基于自适应标记分水岭算法对于嫩芽图像分割有着显著的效果,对于嫩芽检测识别工作有着实践意义,为实现茶叶智能化采摘作业提供了前期准备工作.