基于LBPHSV+ResNet50融合的水稻冠层氮素营养监测方法

叶 春 刘 莹 刘继忠 舒时富 李艳大 吴罗发

(1.南昌大学 先进制造学院，南昌 330038;2.江西省农业科学院 农业工程研究所/江西省智能农机装备工程研究中心/江西省农业信息化工程技术研究中心，南昌 330200)

氮素(Nitrogen)是水稻生长发育需要的最重要的元素之一，不同程度的氮素缺乏会影响植物叶色、叶面积、叶片数和株高等[1]，因此，植物氮素营养的快速监测对作物精确管理具有重要指导作用。作物氮素养分的传统监测，运用实验室化学分析方法，不仅费时费力，且由于取样有破坏性；
便携式叶绿素仪则需要进行多点测定，测量精度易受环境和测定方式影响[2]；
近地遥感和卫星具有精度高的特点，但技术应用成本高且实现实时监测难度大[3]。运用数字图像技术进行作物营养诊断，具有快速、便捷、无损的优点，为实时监测作物氮素营养丰缺状态提供了技术手段和方法[4]。

近年来，多采用数字图像技术对作物氮素营养进行监测研究。例如：基于图像冠层RGB颜色空间参数进行作物氮素营养监测[5-6]，然而，其RGB 颜色空间参数受光照影响较大。针对如何消除光照影响，已有研究提出通过提取图像形状特征或纹理特征有利于消除光照影响，提高监测模型准确率[7]。如：戴冕等[8]提出结合无人机图像颜色和纹理特征指数的小麦生物量估测模型的效果要优于单一颜色指数模型。围绕构建其他相关性更强的复杂图像特征用于作物养分监测，张燕等[9]通过提取番茄病害叶片图像的颜色矩(CM)、颜色聚合向量(CCV)和方向梯度直方图(HOG)等颜色纹理特征集，建立了番茄叶部病害快速识别模型，且识别准确率高于其他典型的机器学习模型；
Shi 等[10]通过提取RGB图像的颜色特征和图像冠层覆盖率值，结合机器学习方法监测水稻氮素营养状态，得出随机森林模型的集成算法在处理不同的数据集时有效地防止了过拟合，具有较好的泛化性。上述研究结果表明，数字图像处理技术能够比较快速、准确地构建作物氮素预测模型，且基于特征提取加机器学习的融合算法有助于提高模型的预测精确率。

作物叶片光学特性受水分、养分利用率及其所处生育时期等因素影响，进而导致表征作物营养信息的敏感颜色参数各有差异。目前，围绕数字图像进行作物养分监测的研究多集中于提取单一图像特征，如颜色特征[11]、形状特征[12]、或者纹理特征[13]进行建模，机器学习算法在一定程度上解决了特征输入的共线性问题，但面对不同年际、区域、品种的作物养分监测效果不稳定。因此，为解决单一图像特征构建模型稳定性和普适性较差问题，本研究拟以水稻冠层数码图像为研究对象，通过挖掘和分析多种常用图像特征开展水稻冠层氮素含量的估测研究，在此基础上，提出一种基于LBPHSV图像特征提取+ResNet50的融合算法的水稻氮素营养监测方法，并比较不同方法和不同图像特征构建模型的差异性，以期为提升预测模型精度和稳定性提供新的思路。

1.1 试验点及图像获取方法

本试验在江西省农业科学院高安试验基地进行，该试验站位于北纬28°25′27″ N，东经115°12′15″ E。试验田耕作层含有机质38.80 g/kg，全氮2.53 g/kg，铵态氮42.4 mg/kg、硝态氮1.04 mg/kg，有效磷16.78 mg/kg，速效钾120.1 mg/kg和pH 5.5。试验时间为2019年3—7月。图像采集时间选择为晴朗无云的天气，在太阳温度相对稳定的10:00—14:00进行。

1.1.1试验设计

水稻供试品种为中嘉早17和长两优173；
分别设置4 个施氮水平：0、75、150和225 kg/hm2，分别记为N0，N1，N2和N3，3 次重复，共计24个处理，各处理之间随机区组排列。不同时期氮肥质量比为m(基肥)∶m(分蘖肥)∶m(穗肥)=5∶3∶2，磷肥(60 kg/hm2)作为基肥一次性施入，钾肥(120 kg/hm2)随氮肥同比例施入。小区面积为30 m2(5 m×6 m)，3本移栽，南北行向，小区之间以埂相隔，埂上覆膜，独立排灌。其他栽培措施与当地高产栽培一致。

1.1.2图像采集

试验采用可见光相机Canon EOS型数码相机(Canon EOS 100D，分辨率为72 dpi)拍摄水稻冠层图像，拍摄时将相机镜头距离地面1.2 m (距水稻冠层约1.0 m)，与地面呈60°夹角进行，同时将相机调至Auto模式下，以自动曝光控制色彩平衡。图片以JPEG格式存储，分辨率为5 184×3 456。从水稻分蘖期、拔节期到孕穗期共拍摄图像519张。

1.1.3氮含量测定

选择在水稻分蘖期、拔节期、孕穗期、抽穗期等关键生育期进行破坏性取样，在每个小区采集代表性的水稻植株20株，带回实验室后，茎叶分离，单独将叶片在105 ℃下干燥30 min，接着在80 ℃下干燥至恒重量，最后用小型粉碎机粉碎。用凯氏定氮仪测定叶片氮含量LNC用于分析。

1.2 数据分析

1.2.1图像预处理

本研究数据处理过程如下：1)大田环境较复杂，为了提高冠层图像颜色特征值的精确度，需要对采集的图像进行分割处理，以便把冠层图像信息提取出来。本研究采用基于阈值ExR[8]的分割法来提取水稻冠层图像，图像处理效果如图1所示；
2)网络模型选定前，将图片按照8∶2的比例分为训练集与验证集，训练集用于训练模型参数，验证集测试训练好的模型参数。

图1 水稻冠层图像预处理Fig.1 Segmentation of canopy images of rice

本试验的硬件环境为内存：8 G，CPU：Intel(R) Core(TM) i5-6500，GPU：Intel(R) HD Graphics 530，操作系统为64位，Windows 7，选用的深度学习开源架构为Tensorflow，通过Tensorflow调用GPU实现卷积神经网络的并行运算。

1.2.2算法描述

常用于回归预测的机器学习模型有最小二乘法LSM[14]、随机森林RF[15]、支持向量机SVM[16]、多层感知机MLP、卷积神经网络CNN[17]，残差网络ResNet50[18]、长短记忆网络LSTM19-20]等，本研究选取LSM、RF、SVM，MLP、CNN、ResNet50残差网络、LSTM及基于LBPHSV+ResNet50融合的算法开展模型训练，对水稻冠层LNC进行回归预测。

1)ResNet50残差网络。与传统深度神经网络相比，ResNet网络引入了一种新的网络结构称为“残块”，以缓和梯度消失问题[18]，ResNet50模块分为5个阶段，第1阶段是数据导入的预处理，后面4个阶段都由瓶颈层组成，第2阶段包含3个瓶颈层，剩下的3个阶段分别包含4、6、3个瓶颈层。ResNet 50主要由五个卷积层和两个残差块组成。残差块具有3个卷积层和一个身份跳跃连接。网络的第一层是卷积层，其中步长为2，卷积核的数量为32。第二层为残差块，包括3个卷积层，将步幅和卷积核的数量分别设置为1和64，第三层卷积层步幅和通道数分别为2、128。第四层也是残差块，包括3个步长为1的卷积层，卷积核的数量为256。ResNet的最后一层由3个卷积层组成，其中stride为2，卷积核的数量为512。

2)基于LBPHSV+ResNet50融合的回归预测。LBPHSV+ResNet50融合模型结构主要由LBPHSV模块来提取图像特征，结合ResNet50算法解决回归预测问题。步骤如下：

步骤1：根据水稻原始图像建立原始图像数据集；
对原始图像数据集进行定位、分割和数据增强处理，得到图像数据集。

步骤2：从步骤1得到的图像数据集中的图像提取纹理特征和颜色特征；
利用加权图像融合算法对提取的纹理特征LBP和颜色特征HSV特征进行融合得到图像融合特征，构建图像特征融合数据集。

步骤3：利用ResNet50残差网络对步骤2构建的图像特征融合数据集进行训练并测试，得到测试准确率最高的特征集合。

步骤4：对测试集图像进行回归预测，得到预测结果。

图2 LBPHSV+ResNet50模型流程图Fig.2 Flowchart of LBPHSV+ResNet50 model

1.2.3特征提取

特征选择对机器学习至关重要，减少特征数量会防止维度灾难，减少训练时间，增强模型泛化能力，减少过拟合，增强对特征和特征值的理解。本研究提取了水稻冠层图像RGB颜色空间特征(HSV、L*a*b*和RGB)[21]、局部二值模式LBP特征[22]和灰度共生矩阵GLCM。

1.2.4评估指标

为了比较各模型算法的预测精度，选择常用的决定系数R2、均方根误差RMSE和平均绝对误差MAE、相对预测偏差RPD为评估指标，R2取值范围为[0，1]，越接近1代表回归模型预测值的离散程度越低。对应的，RMSE和 MAE值越小，表明回归模型预测值与实测值的误差越小，预测效果越好。相对预测偏差RPD通过实测值和预测值之间标准差和均方根误差之比来证明模型的预测能力[23]。各指标表达式分别如下：

(1)

(2)

(3)

(4)

2.1 水稻LNC时空变化规律

不同施氮水平下水稻LNC的时空变化趋势见图3。可知：全生育期内同一处理水稻LNC的变化整体趋势一致；
LNC随着生育期推进逐渐减小；
随着施肥量的增加而增加。N2和N3之间LNC值基本持平，说明施肥量到达一定量时，LNC值不再增加。随着全生育期变化，LNC呈现波动式变化，具有较明显时间规律性。

表格中N0、N1、N2和N3分别表示施氮量为0、75、150和225 kg/hm2。N0, N1, N2 and N3 in the table represent nitrogen application rates of 0, 75, 150 and 225 kg/hm2, respectively.

2.2 对比不同模型的预测结果

将提取的不同图像特征分别作为输入值，水稻LNC作为输出值，结果见表1。可知不同图像特征构建的模型预测精度差异较大。在传统机器学习模型中，基于图像纹理特征的预测模型R2显著大于颜色特征，且基于LBP纹理特征构建的预测模型表现均较好。其中：RF、SVM和CNN模型预测性能较佳(R2>0.80)，以RF回归模型表现尤为突出，其R2值为0.84，但其RMSE和MAE值偏高；
其次，CNN模型的准确率R2略低于RF算法(R2=0.80)，但从模型稳定性来看(RMSE和MAE值表现优异)，CNN在回归预测模型中表现优异(表1)。

表1 不同模型预测结果对比Table 1 Comparison of regression prediction results by different models

分别采用LBP+LSTM、ResNet50、ResNet50+LSTM、LBP+ResNet50和基于LBPHSV+ResNet50融合算法对比分析水稻LNC预测模型的精度和稳定性。结果发现相比于传统机器学习算法，深度学习模型预测R2值显著提升，预测效果明显较好。其中，将LBPHSV特征作为输入，ResNet50为回归预测算法的结果显示，提出的LBPHSV+ResNet50融合算法得到的模型决定系数值最高，R2为0.97，RMSE值最小，为0.02。在LBP+LSTM模型中，以LBP特征值为LSTM模型的输入，LNC为输出，得到预测结果为R2=0.89，RMSE=0.48，MAE=0.31。在ResNet50回归预测模型中，当学习率lr=0.001，num_epochs=30，优化器为Adam时，得到的预测结果最佳为：R2=0.83，RMSE=0.44，MAE=0.07。在ResNet50+LSTM模型中，ResNet50共提取了1 000个图像特征，R2=0.51，RMSE为0.84。

LNC实测值和基于不同预测模型(仅展示R2排名前5位的模型)的LNC预测值曲线对比结果见图4。可知相较于其他模型，本研究提出的方法预测结果更加接近LNC实测值，能较好的捕捉到LNC的变化规律。本研究提出的基于LBPHSV+ResNet50融合模型中，RPD值为3.71。图5则展示了基于LBPHSV+ResNet50融合模型的LNC预测值与实测值的1∶1比较结果。结果显示，预测值和实测值相差不大，大部分点沿对角线y=x分布均匀紧密。

图4 不同算法对LNC值预测结果对比Fig.4 Comparison of LNC prediction results by different algorithms

图5 LBPHSV方法对LNC预测值与实测值对比Fig.5 Comparison of predicted and measured LNC based on the LBPHSV method

过量施氮是目前水稻栽培中存在的普遍现象，数字图像是诊断水稻氮素营养丰缺的重要手段。运用图像特征对作物养分含量进行监测目前已经有许多成果，不少学者尝试利用深度学习算法自动提取图像特征获得了较好的结果。本研究提出的LBPHSV+ResNet50融合算法对水稻冠层图像进行深层次的特征提取并预测，结果显示，LBPHSV+ResNet50模型的预测能力和泛化能力最优，R2和RMSE分别为 0.97、0.02，相比于RF、LBP+LSTM、ResNet50和LBP+ResNet50融合算法R2分别提升了16.36%、9.72%、16.55%和1.13%，RMSE 分别下降了 0.35、0.46、0.05和 0.002，在预测水稻LNC值时提供了总体令人满意的性能。随着深度学习卷积神经网络的不断发展，为了获取深层次的特征，卷积的层数也越来越多[24]。但通过增加网络层数的方法来增强网络的学习能力的方法并不总是可行的。一旦网络层数达到一定的深度之后，再增加网络层数，则易出现随机梯度消失的问题，从而导致网络预测准确率下降[25]。传统的解决方法是通过数据初始化和正则化的方法[26]，但上述方法仅有效解决了梯度消失的问题，准确率问题并没有改善。ResNet 网络相对于传统的机器学习算法而言，其关键的残差单元可以有效解决上述问题[27]，效果相当出色。目前大量应用于目标检测[28]，图像分割[29]和识别[30]等任务，但在作物养分监测方面，目前应用的还较少。

在本研究中，相较于图像颜色空间特征(HSV、L*a*b*和RGB)，基于LBP纹理特征构建的模型性能较好(表1)，表现为R2值差异上，LBP特征集在不同算法中均表现了较好的预测效果。原因可能是颜色特征参数易受光照、背景等环境影响[31]，且颜色特征参数之间的冗余信息多，多重共线性问题对预测结果造成一定干扰[32]，而LBP特征具有灰度不变性和旋转不变性等显著优点。进一步的，该特征选择方法用于LSTM模型中，同样展示出较好的预测性能(R2=0.89)，水稻的生长是有机物积累的过程，各生育期间氮素营养信息相互关联的，无论是从分蘖期到孕穗期还是从孕穗期到完熟期均存在时序特性方面的联系(图3)。从模型选择看，在传统机器学习模型中，基于LBP的随机森林回归算法预测能力最好，R2和RMSE分别为0.84、0.37，只是稳定性和普适性有待提升。LBP+LSTM、LBP+ResNet50和LBPHSV+ResNet50深度学习融合算法R2均>0.85，预测准确率得到了很大的提高，但不同算法的准确率略有差异。在本研究中，深度学习融合算法的特征表示和预测分类器是联合优化的，可以最大程度发挥二者联合协作的性能。如LBPHSV特征集融合了图像纹理特征与颜色空间特征，结合ResNet50残差网络取得了很好的预测效果，与杨倩等[33]结论一致，说明综合利用颜色和纹理等特征参数可提高预测效果，相比于单一特征集更加丰富、完整，使得模型预测性能最优。深度残差网络可以从大大增加的深度中轻松获得准确性收益，生成的结果实质上比以前的网络更好[27]。因此，在相同特征提取前提下，相比于浅层机器学习模型，ResNet50残差网络算法能显著提高预测的准确率。值得注意的是，ResNet50的每个block里面有3个卷积层，提取到的特征有1 000个，但输入ResNet50预测模型后，结果并不是最佳。一方面可能是训练集数据量太少，产生过拟合导致预测精度无法有效提升。另一方面说明并不是特征数量越多，构建的模型预测效果越好，这一结论与ZHANG等研究结论[34]一致。相对标准偏差PRD是衡量模型预测精度的重要指标，当PRD<1.5说明模型不具备预测能力；
当1.5当RPD>2.0表明模型具有极好的预测能力[35]。在本研究中，LBPHSV+ResNet50融合算法计算的PRD值为3.71，且预测值与实测值的点靠近对角线(图5)，说明本文提出的LBPHSV+ResNet50融合算法预测精度高。

通过分析不同图像特征参数建模的差异性，本研究提出一种基于LBPHSV+ResNet50融合的水稻LNC预测的方法。本研究算法对水稻冠层图像样本数据的适用性较强，该方法具有稳定性，预测R2高达97%，RMSE值为0.02，能够很好地监测水稻LNC值且有较好的泛化能力和鲁棒性，可以用于实际应用需求。