多尺度自适应Gamma矫正的低照图像增强

侯利霞，聂丰英，万里勇,2**

(1.南昌工学院 信息与人工智能学院，江西 南昌 330108；
2.江西师范大学 管理科学与工程研究中心，江西 南昌 330022)

由于环境条件和拍摄硬件的影响，成像往往亮度不足、对比度低，这对图像的分析研究和应用会产生负面影响，因此图像增强必不可少.图像增强的目标就是在提升图像的亮度和对比度的同时，保持图像的色彩自然度，尽量减少失真效果[1].部分学者提出将直方图均衡化用于提升图像的对比度，但是直方图均衡过程中，图像平均亮度的偏移会导致部分图像过增强和信息丢失[2].因此，Tang等[3]提出了一种双直方图均衡化的图像增强方法.根据亮度中值分割直方图，并在直方图均衡化之前调整直方图箱.对直方图的分割提升了增强的自适应性，但是直方图本身固有的缺陷并未从根本上得以解决.Tan等[4]首先使用基于曝光区域的阈值将原始直方图分割为子直方图，然后使用基于熵控制的灰度分配方案来分配新的输出灰度.鉴于直方图均衡化会产生褪色效果和图像伪影，Majeed等[5]基于自适应熵指数，将图像分为子图像，分别对其增强以突出其局部细节，将增强子图像进行组合得到增强图像.基于直方图处理的增强方法通过像素值的非线性映射，实现像素级动态空间的充分利用，但是存在固有的缺陷：①忽略了像素分布的空间信息，会在一定程度上破坏部分图像信息；
②非线性映射根据像素值的频次分配像素的动态空间，会挤压频次较小的像素的动态空间，而过度拉伸频次较高的像素的动态空间，因此会分别产生欠增强和过增强.

Mahmood等[6]将图像变换到小波域，以实现图像的多分辨率分析，用适宜的Gamma值矫正图像的亮度，以取得自然的增强效果.但是小波分析只能分析处理系数的幅值，难免会破坏图像的视觉自然.Ziaur等[7]对光照不均的图像进行分类增强，使用卷积神经网络确定图像的类别，用滤波器对环境光照进行有效的估计.Zhuang等[8]将光照图像和反射图像的梯度域引导图像嵌入到Retinex的变分框架中，以增强图像的细节和减少色彩失真.Jiang等[9]将训练样本聚类到以图像块为中心的邻域中，而锚定在图像块中的邻域通过计算其K个最近相似图像块来定义，将其应用于预计算投影，将低分辨率图像块映射到高分辨率域.虽然基于Retinex的图像增强成为主流，但是其低效的图像分解以及噪声会导致增强图像产生色彩失真.针对这个问题，Hao等[10]以一种高效的半解耦方式实现Retinex图像分解，根据高斯总变分模型对光照图像进行逐步估计.Yan等[11]利用一种增强型神经网络，由原图像产生相似图像，构造一个损失函数并最小化，以训练出增强图像.

单一的增强方法往往难以取得较理想的增强效果，因此，Ulutas等[12]将全局对比度增强和局部对比度增强结合，全局增强保证了图像的整体亮度，而局部增强提升了图像的局部亮度特征.Wang等[13]基于Gabor滤波将HSI空间的增强图像与RGB空间的增强图像进行加权融合得到纹理细节更丰富的增强图像，但是Gabor 滤波在时频定位和处理非平稳信号上缺乏鲁棒性，难以适应性质不同的图像.Tirumani等[14]充分利用小波变换和粒子群优化的优势，用小波变换和插值对图像进行超分辨率处理，用对比度受限的自适应直方图均衡化增强图像的对比度.针对部分算法难以同时平衡处理亮度、对比度和伪影抑制等因素，黄仁婧等[15]用光照反射模块与光照编码参数恢复图像的光照，而用细节重建模块增强图像的细节.针对部分深度学习的训练模型缺乏通用性，Jiang等[16]提出了一种基于迁移学习的自适应图像增强框架，不需要对图像进行训练，免除了对真实图像的依赖.为了避免增强图像的细节丢失和过增强等问题，程铁栋等[17]用平台直方图增强光照图像的对比度，而用局部方差加权引导滤波增强反射图像的对比度和细节.很明显，对反射图像的引导滤波处理会破坏图像原有的纹理结构，从而导致图像的色彩失真.

虽然部分现有的方法较好地对低照图像进行增强，但是未准确发掘低照图像的成分特征，未能充分利用光照图像的多尺度特征，对图像的增强处理始终存在一定的盲目性.针对以上问题，本文首先将低照图像转换到HSI颜色空间，利用多尺度的Retinex提取明度分量I的多尺度光照图像，然后对多尺度的光照图像分别进行自适应的Gamma矫正，其中Gamma指数自适应于光照图像的暗区像素的占比.实验证明了本文方法的有效性和相对于部分现有方法的优越性.

1.1 HSI颜色空间颜色通常用3个独立的属性来描述，3个独立变量综合作用，自然就构成一个颜色空间坐标.不同颜色空间从不同的角度去衡量一个对象.在RGB颜色空间中，任意色光都可以用R、G、B3色不同分量的相加混合而成，3种颜色分量的取值与所生成的颜色之间的联系并不直观，不适于图像处理.而HSI颜色空间从人的视觉系统出发，用色调H、饱和度S和明度I来描述色彩，更类似于人类感觉颜色的方式，封装了关于颜色的信息，更适合于图像处理.

HSI颜色空间的色相H决定色彩偏向于红、绿、蓝的哪一方，低色调偏向红色，中色调偏向于绿色，高色调偏向于蓝色.饱和度S决定颜色空间中颜色分量，饱和度越高，颜色越深，饱和度越低，说明颜色越浅.明度I决定颜色空间中颜色的明暗程度，明度越高，表示颜色越明亮鲜艳，明度起到一个控制RGB组合色明暗程度的作用.HSI颜色空间模型是R、G、B三原色光模型的一种非线性变换，RGB空间转为HSI空间的定义为[18]：

式中：θ为中间变量.

1.2 Retinex理论Retinex图像模型对人的视觉感知系统进行了模拟，其原理基于以下3个假设：①真实世界是无颜色的，人类所感知的颜色是光与物质相互作用的结果；
②每一颜色区域由给定波长的红、绿、蓝三原色构成；
③三原色决定了每个单位区域的颜色.Retinex理论认为物体的颜色由物体对短、中、长波的反射能力决定，不受光照影响[19].

Retinex图像模型模拟人类的视觉感知系统，将感知的图像f分解为光照图像L和反射图像R两部分：

根据中心环绕函数对原图像f进行滤波，得到图像L，而通过以下对数变换：

可得反射图像R：

一般地，中心环绕函数采用高斯函数

式中：σ为标准差.低通滤波的效果取决于滤波器的大小，即滤波邻域的大小.邻域越大，滤波效果越模糊，去除的纹理和细节越多.用邻域大小为15×15的高斯滤波作为Retinex的中心环绕函数，Retinex分解的效果如图1所示.

图1 Retinex分解图像Fig.1 The image decomposition with Retinex

2.1 多尺度Retinex分解与明度增强高斯滤波的效果取决于滤波邻域的大小，小邻域体现微小的细节和纹理结构，而大的邻域体现尺度较大的细节和纹理结构.为了兼顾和保持不同尺度的细节和纹理结构，我们选取邻域为r1=3，r2=9和r3=15的高斯滤波作为多尺度Retinex图像分解的中心环绕函数，以代表小、中和大尺度的Retinex图像分解.

根据式(1)～(4)，将图像从RGB颜色空间转换到HSI空间，然后根据式(6)～(8)对明度分量I作多尺度Retinex分解，得到小、中和大尺度的光照图像L1、L2和L3以及反射图像R1、R2和R3.用2.2节阐述的自适应Gamma矫正对光照图像L1、L2和L3分别进行增强，得到Lˆ1、Lˆ2和Lˆ3，以提升不同尺度明度分量的光照效果，使得不同尺度的纹理和细节得以清晰显示.作Retinex反变换，得到多尺度增强的明度分量I1、I2和I3，线性融合增强的多尺度明度分量以作为增强的明度分量：I"=(I1+I2+I3)/3，将I"与色相H和饱和度S从HSI空间转换到RGB空间，从而得到最后的增强图像.

多尺度自适应Gamma矫正的明度增强的流程图如图2所示.首先，将低照图像转换到HSI颜色空间之后，对明度分量I作多尺度增强处理：基于3×3邻域的Retinex的光照图像增强，在保持小尺度边缘细节R1的同时，增强小尺度的光照图像L1.然后，基于9×9邻域的Retinex的光照图像增强，在保持中等尺度边缘细节R2的同时，增强中等尺度的光照图像L2；
基于15×15邻域的Retinex的光照图像增强，在保持大尺度边缘细节R3的同时，增强大尺度的光照图像L3.最后，将经多尺度增强的明度分量I1、I2和I3进行线性融合，得到增强的明度分量I"，再将图像从HSI颜色空间转换到RGB空间，得到增强图像.

2.2 自适应于直方图分布的Gamma矫正图像的亮度和对比度，可以通过Gamma矫正得以增强，但是不同的图像，其亮度分布、对比度以及纹理细节分布均不一样，不宜用固定的Gamma指数进行增强处理，否则会产生欠增强、过增强以及色彩失真等缺陷，因此本文从图像的具体特征入手，寻找自适应于具体图像特征的Gamma指数.

一般地，一张图像的具体特征可以通过直方图得到.图像的直方图分布可以反映一张图像的亮度分布以及对比度是否适宜，而效果理想的图像的直方图为：像素近似均匀地分布于整个像素值动态空间，且主峰处于空间的中间或稍偏右.如果主峰偏向于左边，就意味着图像的亮度偏暗，越向左图像亮度越暗，对比度越低.因此，本文提出将直方图作为因子的自适应的Gamma矫正方法，用数学模型表示为：

式中：L为归一化的光照图像，γ为自适应的Gamma指数，定义为：

图2 多尺度自适应Gamma矫正的明度增强的流程图Fig.2 Flowchart of lightness enhancement with multi-scale adaptive Gamma correction

式中：参数C为微调系数，h为光照图像L的直方图，Gamma指数γ自适应于光照图像L的亮度分布特征，sum(h(0:C))/sum(h)作为暗区像素的占比，与γ指数构成递减关系，暗区像素的比例越高，γ值越小，否者γ值越大.因此，γ指数自适应于暗区像素分布的比例.Gamma变换函数如图3所示，其中x为原像素值，f(x)为Gamma变换后的像素值.γ指数越小，对暗区像素值和像素级空间的拉伸就越大，同时对亮区的像素级空间压缩也越大.因此，越暗的图像需要更小的γ指数，在更大程度上提升暗区的亮度，反之，需要更大的γ指数，以控制暗区拉伸的程度，避免过增强.参数C为微调系数，以调整γ指数的大小.对于参数C，在数据集Exclusively Dark上用试错法进行训练，综合优化数据，得出C=95为近似最优，因此本文选取C=95.

图3 Gamma变换函数Fig.3 Gamma transformation function

图4 为对图1(a)的明度分量进行大尺度自适应Gamma矫正的效果.图4(a)为图1(a)的明度分量以及对应的直方图，明显可以看出明度分量较暗，大部分的像素分布偏向左侧.图4(b)为明度分量的大尺度光照图像以及对应的直方图，同样地，光照图像的亮度较暗，大部分像素集中于像素级动态空间的左侧.图4(c)为自适应Gamma矫正后光照图像及其直方图，很明显，增强后的光照图像的亮度分布较适宜.对比图4(c)和图4(b)的直方图可以看出，自适应Gamma矫正对处于暗区的像素进行拉伸，且扩大其分布的动态空间，而对处于亮区的像素进行适当的压缩，实现像素级动态空间的充分合理的利用.图4(d)为对应增强的明度分量及其直方图，像素近似均匀地分布于整个动态空间，亮度较适宜，视觉效果较好.

将基于直方图分布的自适应Gamma矫正方法应用于HSI颜色空间的明度分量I的多尺度增强，可以实现图像的亮度和对比度的有效增强.在保持图像边缘细节和自然效果的同时，使得隐藏于暗区的图像信息得以正常显示，并且有效提升图像的对比度.

图4 自适应Gamma矫正的效果Fig.4 Effect of adaptive Gamma correction

为验证本文方法的有效性和实用性，从数据集Exclusively Dark中随机抽取若干张低照图像和一张正常显示的Windows 10系统的桌面图像作为实验图像，如图5所示，在i7 CPU和8 GB RAM的计算机上用Matlab 2019a实施实验.实验图像包含人物图像、室内图像、街区图像以及自然景物图像，可以从图像的不同特性角度验证方法的图像增强能力.用图像效果、直方图以及峰值信噪比PSNR和结构相似性指数SSIM[20]作为衡量指标，以最新的文献[5]、[7]、[12]和[15]提出的方法作为参照进行比较分析.其中为了验证本文方法的图像恢复性能，用图5(d)以及PSNR和SSIM进行实验验证.PSNR度量两张图像的像素相似性，PSNR值越高，图像的相似度越高，而SSIM度量两张图像的纹理结构和细节的相似性，SSIM值越高，图像的纹理和细节越相近.

图5 用于实验验证的低照图像和标准图像Fig.5 Low illumination images and standard image for experimentation

3.1 图像效果各方法对图像lamp的增强图像如图6所示.图像lamp的特点为目标清晰，但背景的纹理和细节因为光线黑暗而被隐藏.对其增强就是要保持清晰的目标不变，而提升背景的亮度和对比度，令背景正常显示.文献[5]和[7]的增强效果较好，但是文献[5]有轻微的色彩失真效果，色彩欠鲜艳，文献[7]对上部背景的增强依然不够清晰.文献[12]虽然清晰地显示了背景，但是出现严重的色彩失真和过增强效果.文献[15]对图像的增强不够，部分背景依然未能正常显示.相对地，本文方法的增强效果较好，在保持清晰目标的同时，有效地增强了背景，并且保持色彩的自然度.

各方法对图像street的增强图像如图7所示.图像street的特点是近景较暗，远景轻度黑暗，光线分布不均匀.文献[5]虽然使得图像的远、近景都清晰显示，但是有轻微的色彩失真效果，色彩欠鲜艳.文献[6]的增强效果较好，在保持色彩自然度的同时，光线均匀分布，暗处的细节均能正常显示，但是图像有轻微的模糊效果.文献[12]有明显的过增强效果，部分区域呈现强光照射的效果.文献[15]的增强效果偏暗，并且色彩有轻度的欠鲜艳效果.本文方法在实现光线的均匀分布的同时，提升了图像的对比度，纹理和边缘细节都较清晰，增强效果相对其他方法更好.

图6 各方法对图像lamp的增强图像Fig.6 Enhanced images of all methods on image lamp

图7 各方法对图像street的增强图像Fig.7 Enhanced images of all methods on image street

3.2 直方图分布图像的直方图反映了图像像素分布的合理性和图像的视觉效果.正常显示的图像的直方图应当充分利用所有的像素级空间，像素分布的主峰处于中间或中间偏右.各方法对图像girl增强后的图像直方图如图8所示.原图像girl的大部分像素集中分布于低灰度级，而灰度级100以上的像素很少，图像较暗，对比度低.文献[5]提升了图像的亮度，但是像素级160以上的像素分布较少，且直方图的主峰处于中间偏左，图像的整体亮度偏低.文献[7]对像素级200以上的空间未能充分利用，此区间的像素分布较少，且直方图的主峰偏左，图像的整体亮度不足.文献[12]虽然充分利用了所有的像素级空间，但是其分布过于均匀，未能重点突出图像的纹理和细节.文献[15]在像素级150以上的区间像素分布较少，对比度低，且其直方图主峰偏左，图像偏暗，部分图像信息未能清晰显示.相对地，本文方法将所有像素近似均匀地分布于所有的像素级上，充分利用了像素级空间，同时其像素分布的主峰处于中间，重点突出图像的纹理和细节，对比度较高.

图8 各方法对图像girl增强后的直方图Fig.8 Histograms of image girl enhanced by each method

3.3 PSNR和SSIM为了验证各方法对光照退化图像的恢复性能，将图5(d)的图像coast做光照退化处理，如图9(a)所示，各方法对其进行增强处理，结果如图9(b)～(f)所示，其中各子图像下面的两个数字分别为该图像与原正常显示图像图5(d)的PSNR和SSIM值.退化图像整体亮度较低，部分边缘和纹理结构因光线不足而被隐藏，图像的PSNR和SSIM较低.文献[7]和[12]的PSNR和SSIM值较低，相对于退化图像的PSNR和SSIM值，虽有一定的提升，但提升的幅度不明显，其对图像的恢复性能较差，对于较暗的区域，未能进行有效的增强，部分区域颜色过鲜艳，特别是文献[12]，部分近景较暗.文献[5]和[15]均能保持色彩的自然度，PSNR和SSIM值也较高，相对于退化图像的PSNR和SSIM值，分别提升了5 dB和20%以上，但是文献[5]的增强图像出现轻度的褪色效果，而文献[15]的增强图像偏暗.相对地，本文方法的增强图像与原图像最接近，PSNR和SSIM值均高于其他方法，相对于现有方法对应的PSNR和SSIM值，分别提升了1.19 dB和1.8%以上，能对光照退化图像进行有效恢复.

综上所述，本文方法对于不同的图像，其增强效果均优于现有的方法，增强图像对应的直方图更适宜和合理，对光照退化图像的恢复性能较好.

图9 各方法对低照退化图像coast的增强图像以及PSNR和SSIMFig.9 Enhanced images and PSNR and SSIM of all methods on illumination degraded image coast

为了克服现有图像增强方法存在的过增强、欠增强和色彩失真等缺陷，进一步提高低照图像的增强性能，提出了一种多尺度自适应Gamma矫正的低照图像增强方法.在HSI颜色空间对明度分量I进行多尺度分解和自适应Gamma矫正，其中Gamma指数自适应于光照图像的暗区像素的占比，将增强后的多尺度明度分量的线性融合作为增强的明度分量I"，与色相分量H和饱和度分量S重组，得到增强图像.根据图像效果、直方图分布以及PSNR和SSIM，实验结果证明，相对于最新提出的部分现有方法，本文方法具有更高的图像增强性能，能更有效地提升图像的亮度和对比度.相对于可见光图像，红外图像增强的难度更大，根据本文方法的思想，研究红外图像的增强方法，将是我们未来的研究方向.