光子学报, 2020, 49 (7): 0710001, 网络出版: 2020-08-25   

结合光场深度估计和大气散射模型的图像去雾方法 下载: 678次

Image Dehazing Method Based on Light Field Depth Estimation and Atmospheric Scattering Model
作者单位
合肥工业大学 计算机与信息学院, 合肥 230009
摘要
目前大部分基于物理模型的图像去雾算法存在复原图像色彩失真和天空边界区域出现光晕效应的问题.为了解决这些问题,本文提出了一种将光场深度计算与大气散射模型相结合的图像去雾方法.该方法通过光场极平面图像计算得到场景深度,将场景深度信息计算所得的透射率与暗通道透射率融合得到最终透射率.同时利用场景深度对天空边界进行判定,单独对天空区域进行处理.在合成雾天图像和真实雾天图像上的实验结果表明,与现有的单幅图像去雾算法相比,本文提出的方法在峰值信噪比以及结构相似性上均有提升.同时对去雾之后的图像的色彩保真度以及光晕效应的抑制方面都取得了较好的结果.
Abstract
Most of the image dehazing algorithms based on physical models have the problems of restoring image color distortion and halo effects in the boundary area of the sky. In this paper, we propose an image dehazing method that based on light field depth calculations with atmospheric scattering models. In this method, the depth of the scene is calculated by the light field epipolar plane image, and the initial transmission calculated by the scene depth information is fused with the dark channel transmission to obtain the final transmission. At the same time, the depth of the scene is used to determine the sky boundary, and the sky area is processed separately. The experimental results on the synthetic haze image and the real haze image show that the proposed method has both improve Peak Signal-to-noise Ratio(PSNR) and Structural Similarity(SSIM) compared with a variety of methods. This method can also get good result in recovery the color of haze image and reduce halo effect after dehazing.

0 引言

在恶劣的天气条件(雾、霾、雨)下,空气中大气湿度和大气气溶胶密度较高,由于这些微粒对光线的散射和吸收,导致在这种天气条件下所拍摄到的户外图像出现可见性差、对比度低的问题.在这种条件下所获取的图像对计算机视觉引用和图像理解产生不利的影响.因此,如何消除雾天图像中雾气造成的影响,从雾天图像中恢复出清晰可见的无雾图像,成为了计算机视觉领域的研究重点之一.

目前,根据图像去雾的原理和方式可以将去雾算法分为两类:基于图像增强去雾方法和基于物理模型去雾方法.基于图像增强的去雾方法,例如直方图均衡化[3]或者同态滤波算法[4],不考虑雾天图像退化的机理,仅仅对所需的部分进行增强处理.使用这类方法恢复的雾天图像很容易出现色彩失真和图像细节信息丢失等情况.为了克服以上图像增强去雾方法的局限性,研究人员通过研究和分析图像降质和退化的机理,求解图像退化的逆过程来尽可能地恢复出未退化前的图像.由此产生了一类基于物理模型去雾的方法.考虑到场景的深度信息和场景透射率之间的关系,研究者们尝试将获取的场景深度信息代入退化模型中,逆推出无雾图像.因此出现了许多估算雾天场景深度信息的算法,CHO Y等[5]利用深度传感器获取场景深度信息.ZHU Q等[10]根据图像饱和度和亮度之间的关系提出颜色衰减先验,并利用此先验对雾天图像深度进行估计.与图像增强算法相比,该类算法的针对性较强,图像信息丢失较少,去雾结果较好.然而上述方法在获取雾天图像场景深度信息依然存在局限性:1)对于场景深度信息的获取所需的硬件条件要求过高:2)单幅图像提供的信息有限,根据有限的信息所总结的先验知识存在一定的局限性,在特定的场景下(如存在大片白色区域),错误的先验信息将导致场景深度信息的偏差.

近年来,随着科技的发展和硬件条件的提高,对于图像深度的计算有了更多的方法和思路,光场相机的出现为图像深度获取提供了更有效的工具.光场相机得益于其独特的物理结构,使得仅需一次曝光拍摄即可获取场景的4维光场信息[13],分别为场景2维空间位置信息和2维角度方向信息.空间信息表征了场景的位置关系,角度信息表征了场景的视角变化.因此光场图像能更好地揭示场景的3维几何结构,研究人员通过对光场数据的分析将光场成像技术运用到场景的深度估计当中[13-15].本文利用光场图像处理的特点,提出了一种融合光场深度获取和暗通道计算图像透射率的去雾方法.利用光场相机[16]获取的场景多视角图像以及光场深度计算的原理,从4维光场数据中计算出场景的深度信息,能够有效地解决难以从单幅图像提取场景深度的问题.将根据光场深度信息计算出的图像透射率与暗通道透射率相融合得到更精细的透射率,同时利用场景深度信息的引导对场景的天空区域进行分割,单独针对天空区域进行大气光的获取,有效避免了前景的干扰,最后通过大气散射模型对中心视角图像实现去雾.

1 相关工作

为了更准确地描述雾天图像,1976年MCCARTNEY E J根据大气颗粒物对光照的散射作用提出了大气散射模型[2],而后NARASIMHAN S G等[1]在此基础上提出被广泛使用的图像去雾模型,模型公式为

该模型主要由入射光衰减模型和大气光成像模型两部分组成,式中t(x)表示介质的透射率且t(x) ∈ (0,1), x为图像像素点的坐标,A表示场景的大气光,I(x)表示实际观测到的图像即雾天图像,J(x)表示去雾后的图像即待恢复的无雾图像.假设大气中的雾均匀分布且场景深度已知,则可通过式(2)计算出透射率

式中,β为大气的媒介衰减系数,d(x)为图像中x处像素的深度值.由式(1)可知,雾天图像的恢复重点在于图像透射率和大气光强的计算.针对透射率的计算,BERMAN D等[11]分析无雾图像的颜色在RGB色彩空间形成不同的颜色簇(Haze-line),通过这些簇对场景的深度进行估计,再由图像深度信息计算得到图像透射率.QING C等[6]使用颜色衰减先验获得雾天图像深度信息,再通过聚类对深度进行分类,对不同深度的区域进行透射率的计算.HE K等[9]通过大量的实验提出了暗通道先验理论,并利用暗通道估算场景的透射率.此类由先验信息获取图像的深度信息的方法存在局限性,当场景中出现大面积白色区域时先验信息失效,无法准确获取场景深度信息,会导致最终复原的图像出现一定程度的颜色失真.

在大气光估算方面,ZHU Y等[8]结合了亮度模型和暗通道先验理论对雾天图像的天空区域进行分割,在天空区域单独进行大气光的计算.JIANG B等[7]使用L0平滑滤波对天空区域进行分割,再提取天空区域的色彩信息同时计算大气光.此类大气光估算方法对于提升大气光估计的准确度有一定作用,但是没有充分利用图像深度信息,分割边界不均匀,去雾后图像在天空边界处会产生较为严重的光晕效应.

针对上述透射率和大气光估算中存在的问题,本文利用光场多视角图像的特点,从光场极平面图像中提取对应空间点的深度值,从而获得场景深度信息.有效地解决了雾天图像深度信息提取困难的问题.同时,提出了利用图像深度信息引导对天空区域进行分割,能够避免天空区域与前景在恢复图像时互相影响,更好地将场景深度信息融入透射率的计算,有利于大气光强的获取,提升了恢复图像的色彩保真度的同时能够有效减轻天空边界处的光晕效应.

2 本文方法

本文算法框图如图 1所示.主要分为雾天场景深度计算,天空区域分割,场景透射率融合以及大气光强的计算和雾天图像复原五个部分.首先使用光场相机对雾天场景光场图像进行采集,通过光场相机记录的4维光场信息计算出雾天场景的初始深度.以图像深度作为初始透射率的求解和天空区域分割的基础.将所获取到的场景深度信息作为引导信息用于图像的分割,从而能够准确地对雾天图像的天空区域与非天空区域进行分割.为了提升雾天图像透射率计算的准确度,将由图像深度信息计算所得的透射率与暗通道计算所得的透射率相融合得到最终透射率.同时对天空区域单独计算大气光强,避免天空区域与前景之间相互影响.最后将所得到的图像最终透射率与大气光强代入大气散射模型即可实现雾天图像复原.

图 1. 本文算法框图

Fig. 1. Algorithm block diagram

下载图片 查看所有图片

2.1 光场EPI深度计算

本文选用微透镜式光场相机[12],微透镜式光场相机在主镜头和成像传感器之间放置一个微透镜阵列,如图 2所示,经过目标位置上任意方向的光线,被主透镜聚焦到微透镜阵列中心,之后被微透镜阵列再次分散,即可将同一空间点不同角度方向的光线信息记录在成像传感器上.以此实现对场景4维光场信息的获取.通过光场相机记录的4维光场信息,记为LF (xyuv),其中(xy)表示空间信息,(uv)表示角度信息.根据获取到的4维光场数据可以获取同一场景具有一定视差关系的多幅子视角图像,即光场的多视角图像[14].三维场景空间中的任意一点通过不同视角进行投影,根据视角投影点形成的二维平面图象,称为极平面图像[13](Epipolar Plane Image,EPI),如图 3所示.通过计算EPI中视角投影点直线的斜率或角度大小,可对应空间点的深度值,继而获得场景深度图.

图 2. 光场相机成像模型

Fig. 2. Light field camera model

下载图片 查看所有图片

图 3. 光场的几何表示

Fig. 3. Light field geometric model

下载图片 查看所有图片

图 4反映了光场图像的EPI, 图中所形成的红色直线为EPI直线,通过三幅不同视角的图片上的直线像素值叠加构成下面的横向EPI图像,在此之间便构成了一定的斜率,通过不同的斜率可以得到图像的深度信息.EPI图像中的斜率就能够反映出场景的深度.如图 3所示,图中点P为空间点,f为焦距,平面Π为相机平面,平面Ω为像平面.图中Δx与Δu的关系可以表示为

图 4. 光场的EPI

Fig. 4. Light field EPI

下载图片 查看所有图片

式中,d表示P点的深度值,在三维空间中的点P(XYZ)对应到EPI图像上的一条直线,如图 3所示.因此,可以根据极线的斜率求得P的深度值为

利用上述公式可以从EPI中估计出视差.由图 3可知,在EPI图像中,$\frac{{{\rm{\Delta }}x}}{{{\rm{\Delta }}u}}$可以用斜线的斜率表示, 即tanθ,其中θ用于表示ux之间的变化率,因此可以将深度估计转化为求取EPI图像中斜线的斜率.

2.2 结合光场深度获取的透射率计算

雾天光场图像中的雾气是一种特殊的噪声,上述EPI深度获取方法对噪声的鲁棒性较差,在雾气的影响下会严重降低深度估计的精度.而旋转平行四边形算子(Spinning Parallelogram Operator, SPO)[17]方法由于其即使在有遮挡或者噪声的情况下依然有很强的鲁棒性,能够充分利用EPI图像的信息,因此本文采用旋转平行四边形算子(SPO)算法计算雾天光场图像的深度信息.

SPO算法引入置信度来对所求结果进行评价,并根据置信度分配横向、纵向EPI深度估计结果的不同权重值,使结果更加精确.横向EPI图像和纵向EPI图像对该像素点进行深度估计,通过定义一个置信度来衡量可靠性,将横向EPI与纵向EPI的深度估计值进行加权求和得到最终的深度估计结果,即

式中,dyv* (xu*θ),dxu* (yv*θ)分别是横向和纵向EPI图像深度估计的结果,Cyv* (xu*),Cxu* (yv*)为二者的权重.由式(5)计算可以得到光场雾天图像的深度信息ds (x) =duv (xyθ).将雾天图像的深度信息代入式(2)中可得场景初始透射率为

光场深度获取得到的图像深度信息存在一定的局限性,由于图像中雾气的影响,当场景中距离过大时(天空区域),通过光场深度计算得到的深度信息并不可靠,由此计算得到的透射率也存在问题.因此,本文将暗通道去雾中透射率计算结果与光场深度计算透射率结果按照一定权重进行融合可以有效地提升透射率计算的结果.暗通道计算图像初始透射率为

式中,ω取0.95,$\mathop {{\rm{min}}}\limits_{y \in {\rm{\Omega }}\left( x \right)} \left( {\mathop {{\rm{min}}}\limits_c {\rm{}}\frac{{{I^c}\left( y \right)}}{{{A^c}}}} \right)$是图像暗通道.通过式(6)和式(7)可分别求得由光场深度估计得到的透射率ts和暗通道求得的透射率td.通过式(8)将分别求得的透射率进行融合

t(x)为融合后的透射率.C与1-C分别为td (x)和ts(x)的权重,C可通过图像深度信息结合sigmoid函数确定,即

式中,α1是影响曲线倾斜度的参数,α2是水平坐标的中心,dn (x)为图像深度值归一化之后的值.根据文献[8]中的研究以及sigmoid函数的性质,存在gs = α1dns-α1α2gf = α1dnf-α1α2,使得C (gf) ≈ 0, C (gs) ≈ 1.即小于gf为前景区域,大于gs为天空区域.gfgs为前景到天空的过渡区域.则可通过gfgs求得参数α1α2,即

式中,dns为归一化后天空区域的深度值,dnf为归一化后前景区域的深度值.由式(10)可求得参数α1α2,为

通过式(11)、(12)可确定(9)中的参数.在计算权重时结合图像的深度信息,随着图像深度的增加,在深度透射率和暗通道透射率融合的过程中,能够有效减少天空区域雾气对场景深度计算的影响.式中gsgf的取值决定了透射率融合的结果.本文中取gs=6, gf = -6,dnf = 0.15,dns = 0.60,此时对大部分透射率融合都能够取得较好的结果.图 5中给出了初始EPI深度信息计算所得透射图、WANNER S等[15]提出的结构张量算法优化后计算的透射图、SPO算法优化后计算的透射图和最终融合优化后所得的透射图.其中图 5(b)可以看出直接使用EPI计算图像深度效果较差,透射图被噪声严重干扰.图 5(c)为结构张量法计算场景深度得到的透射图,比图 5(b)有一定提升,然而在噪声的影响下图像前景部分的深度并不准确,进而影响到后续透射率的计算.而图 5(d)通过SPO算法优化计算得到的透射图可以看出图像透射图的提升较为明显,由于SPO算法抗干扰能力更强,通过此算法计算的场景深度信息更加准确.而图 5(e)中经过暗通道融合优化后的透射图可以看出在天空区域较为明显的提升,排除了天空区域噪声影响的同时也保证了透射率的精确性,能够更好地恢复雾天图像.

图 5. 透射率优化对比

Fig. 5. Transmission optimization comparison

下载图片 查看所有图片

2.3 深度引导天空区域分割

当提取出场景深度信息之后,可根据式(8)计算出场景的初始透射率.由于雾天图像的特性,随着深度的增加雾气的浓度也会随之增加,在无穷远处,即天空区域,受噪声影响严重,会进一步影响后续雾天图像的复原.通过图 5中的对比,可以看出在融合了暗通道透射率后在透射率的计算上排除了天空区域的影响.同样在计算大气光强时,前景中若出现大片白色区域(白色墙面等)同样会影响图像大气光的计算.针对此问题本文采用一种深度信息引导的天空区域分割法对图像的天空区域进行分割,以此排除前景部分与天空区域的互相影响,并单独针对天空部分计算大气光,以得到精细的透射率和大气光强.图 6为天空区域分割算法流程.

图 6. 天空分割算法流程

Fig. 6. Sky region segmentation algorithm

下载图片 查看所有图片

在理想的情况下,d (x)的值域为[0,+ ∞],从式(1)、(2)可以得到

由式(13)可得,距离足够远的情况下,I(x)近似等于大气光A,即大气散射模型中的大气光可近似看作无穷远处的亮度.本文充分利用雾天图像场景深度信息,以场景深度图为引导图像,结合canny边缘检测对雾天图像的天空区域进行分割.之后单独对天空区域进行大气光的求解,具体步骤如下

首先通过高斯滤波对雾天图像平滑去噪,利用上一节得到的初始深度图对平滑后的雾天图像进行引导滤波

式中,Id是引导图像,I是输入的待滤波图像,f是滤波后的输出图像,W是根据引导图确定的权重值.在这一步中加入深度信息的引导,通过深度图像引导滤波之后能够平滑平坦区域同时突出图像中的主边界,从而有利于后续天空边界的筛选.

通过边缘检测筛选出合适的边缘,筛选出的边缘并不能直接确定天空区域的边缘,因此根据以下两个天空区域的特性对边缘做二次筛选,最终确定天空边缘

式(13)给出了天空区域筛选的两个条件.在初次筛选后的边缘中任取一条边缘,假定此时的边缘为天空边界.(xy)为初筛边缘上点的坐标,u为偏移量,偏移量可以根据场景实际情况进行选取,通过大量实验得到偏移量u取10时可满足大部分场景需要,本文中u = 10,边缘点s (xy)通过加减偏移量可移动至天空区域和前景区域,此时可对偏移后的两点进行判定.条件bs (xy -u)> bf (xy+u)以像素亮度为标准,天空区域点(xy -u)对应的亮度应高于前景区域点(xy + u)对应的亮度;条件ds (xy - u)> df ( xy + u)以深度作为筛选标准.天空区域点(xy - u)对应的深度值应大于前景区域点(xy + u)对应深度值.可多次选取不同的点重复进行此判定以保证结果的准确性,当以此边缘作为天空边界选取的点皆满足上述两个条件时,即可判定此边缘为天空区域边缘,根据确定的边缘即可对天空部分进行分割.若不满足条件则证明此边缘非天空边界,选取下一条边缘进行判定,直至找到天空边界为止.在分割完成之后,针对天空区域估算大气光的值,如图 7.从分割之后的深度图像中可见,深度图中白色区域代表原图像的天空区域.天空区域代表着整幅图像最遥远的地方.根据式(9)可得出,在最远处的图像像素的亮度可以看作大气光的值.为了保证图像整体的亮度,选取天空区域中最亮的0.1%的像素,将这些选取的像素值对应的原图像I ( x)的像素的亮度进行排序,选取其中亮度最高的像素值作为大气光A.

图 7. 大气光选取

Fig. 7. Airlight selection

下载图片 查看所有图片

2.4 雾天图像恢复

根据大气散射模型可知,图像去雾的最终目的是从雾天图像中恢复无雾图像.由式(1)、(2)可知

为了避免在进行图像复原时产生过多的噪声,本文采用文献[10]的方法将透射率t (x)限制在0.1到0.9之间,最终的图像复原公式为

式中,β为大气散射系数.β选取的过大或者过小都会导致最终图像恢复的质量不佳.因此在对图像进行恢复的时候应当选取合适的β.在大气均匀分布的情况下,大气散射系数β值可以被认为是恒定值.本文中β取值均为1.

3 实验结果及分析

为了验证本文所提出算法的有效性,本文分别在合成雾天光场图像和真实场景拍摄的雾天光场图像上进行实验,并与文献[8-11]中的方法去雾图像的结果进行定性以及定量分析.

3.1 实验设置

本文实验在PC硬件配置为Intel Core i5-4590 CPU 3.3 GHz×4cores,RAM 16GB,操作系统是Windows 10 64位的台式电脑上完成,实验编译软件是MATLAB 2016a.

实验中使用的雾天图像包括合成的雾天光场图像以及使用Lytro Illum相机[16]进行拍摄的真实雾天图像.在Stanford Lytro Dataset数据集[18]上采用文献[10]中的算法合成雾天图像存在无雾真值,该数据集由Lytro Illum采集的真实场景得到.由Lytro Illum相机拍摄的真实雾天光场图像,图像空间分辨率为625像素×434像素,角度分辨率为15°×15°.由于微透镜边缘接收光线不足,因此边缘视角图像存在黑影,本文选取中心部分9°×9°个视角作为实验图像.

由于数据集存在真值,因此对去雾之后的图像与原图像之间计算峰值信噪比(Peak Signal to Noise Ratio, PSNR)和结构相似性(Structural Similarity Image Measure, SSIM)作为量化评价指标.PSNR和SSIM取值越大,表示去雾算法的效果越好.

式中,Ir0Ig0Ib0表示未经处理的原图像RGB三个颜色通道,IrdIgdIbd表示去雾之后的图像三个颜色通道的值.MSE表示当前图像Id和参考图像Io的三个颜色通道的均方误差(Mean Square Error, MSE),HW分别为图像的高度和宽度,式(19)中L表示图像颜色的最大值.

式中,μxσx分别表示原始无雾图像的灰度平均值和方差,μyσy分别表示去雾后图像的灰度平均值和方差,σxy为原始无雾图像和去雾后图像的协方差,C1 = (k1l)2C2 = (k2l)2是用来维持稳定的常数.l是像素值的动态范围,k1 = 0.01,k2 = 0.03.

3.2 实验结果

3.2.1 算法分析

图 8分别为单幅图像去雾与光场EPI深度获取图像去雾结果对比.图 8 (a)是雾天图像,图 8 (b)为CAP算法[10]与本文光场EPI深度获取方法的场景初始深度图,图 8 (c)分别为使用引导滤波处理之后的深度图和SPO算法优化后的深度图.图 8 (d)分别为经由(c)计算的场景透射图.图 8 (e)分别为使用图 8 (d)进行去雾之后的图像.

图 8. 深度复原透射图结果对比

Fig. 8. Depth transmission map comparison

下载图片 查看所有图片

图 8中可以看出,建筑物墙面呈现大面积的白色,并且图像整体色彩对比度较低,此时CAP算法中利用图像色彩估计场景深度信息的方法所提取的深度图出现了较大的误差(图 8(c)第一行),导致了场景透射率计算出现了偏差,最终去雾之后的图像出现了较为严重的色彩失真(图 8(e)第一行).使用光场EPI算法提取的深度图在天空部分的噪声较多(图 8(b)第二行),通过本文的透射率融合算法处理之后可以有效减少天空部分噪声的影响,得到更加精确的透射率,最终的去雾图像(图 8(e)第二行)相较于原图像在清晰度以及亮度以及色彩还原度等方面都有更好的结果.

图 9为几种图像分割算法与本文的分割算法的分割结果对比.图 9(a)为真实场景拍摄的雾天图像,图 9 (b)为使用分水岭[19]算法(Watershed Algorithm)分割图像的结果,图 9 (c)为Graph Cut[20]算法分割的结果,图 9 (d)为F-LDCP[8]算法分割天空区域的结果,图 9 (e)为本文方法进行天空区域分割的结果.

图 9. 天空分割对比

Fig. 9. Comparison of sky region segmentation

下载图片 查看所有图片

图 9(b)中可以看出,分水岭分割算法抗干扰能力较差,在前景的分割上出现了一部分的缺失.并且分水岭分割法很容易出现过分割的情况.图 9(c)中可以看出,Graph Cut算法分割结果较好,边缘比较清晰,仅在少部分区域出现了分割错误的情况.但是Graph Cut算法耗时较长,并且需要人工选取分割区域才能得到较好的处理结果.图 9(d)中可以看出,F-LDCP算法对于天空区域的分割较为粗糙,在前景以及天空区域范围内都出现了错误分割.从图 9(e)中可以看出,使用本文方法分割的结果相对较为准确,能够较好地分割前景与天空区域,有利于后续对大气光的计算以及图像去雾后对光晕效应的抑制.

3.2.2 合成数据集

1) 定性分析.图 10是四种图像去雾算法以及本文提出的算法在十个合成场景中的去雾结果.图 10中F-LDCP[8]算法和DCP[9]算法在几个场景中都出现了不同程度的颜色失真(如Building4场景和Cars1场景以及Flowers1场景).F-LDCP在所有场景中的亮度以及对比度较高,然而在大部分场景中出现了明显的光晕效应(如Buildings3场景和Flowers1场景以及Flowers2场景),并且在天空部分出现了过增强的情况(如Buildings4场景以及Buildings5场景).而CAP[10]算法可以看出除雾的效果不理想,去雾后的图像与雾天图像没有显著区别(如Buildings4场景和Buildings5场景以及Cars3场景).Non-Local[11]算法在大部分场景表现较好,小部分场景(如Car1场景和Car3场景)的天空区域出现轻微的色彩失真现象.相较于以上几种单幅图像去雾算法,本文中所提出的方法在针对远景建筑物场景,中距离景物的车辆场景以及近景的花朵场景均能够取得较好的去雾结果,并且去雾之后的图像更为接近无雾原图像,去雾后的图像并未出现明显的色彩失真和光晕效应,具有更好的视觉效果.

图 10. 合成图像的去雾结果

Fig. 10. Composite image dehazing results

下载图片 查看所有图片

2) 定量分析.表 1给出了几种去雾算法对Stanford Lytro Dataset数据集合成的雾天图像去雾后对比无雾图像的三个颜色通道峰值信噪比.表中黑体为最优结果,下划线为次优结果.其中峰值信噪比越高表示去雾的效果越好,颜色保真度越高.由表 1可以看出DCP算法与CAP算法整体峰值信噪比偏低,F-LDCP算法与Non-Local算法平均峰值信噪比较为接近.本文方法在大部分测试场景下都取得了最大的峰值信噪比,处理结果来看与原无雾图像最为接近,在去雾效果以及色彩保真度方面都有较好的结果.

表 1. 图像去雾结果的PSNR比较

Table 1. Image dehaze comparison of PSNR

ScenesF-LDCP[8]DCP[9]CAP[10]Non-local[11]Proposed
Buildings168.2352.8158.5364.1271.97
Buildings266.3855.6458.7475.6468.87
Buildings362.4664.2857.5662.8268.15
Buildings462.4757.2264.8167.1969.25
Buildings562.1468.6166.9664.7672.39
Cars148.6461.9152.4959.3269.31
Cars269.4758.3959.2668.5169.89
Cars367.2863.7662.6261.2968.39
Flowers160.6457.3759.6863.2866.73
Flowers262.8972.9474.7671.2677.69
Average63.0661.29361.54165.81970.264

查看所有表

表 2给出了几种去雾方法对Stanford Lytro Dataset数据集合成的雾天图像去雾后对比无雾图像的结构相似性对比.表中黑体为最优结果,下划线为次优结果.结构相似性值越高,表明去雾之后图像与无雾真值图像的相似性越高,以及对光晕效应的抑制效果更好,以此反映算法结果的优劣.从数据上看,在大部分场景下本文方法都取得了最好的结果.从综合结果的平均值来看,本文方法取得了最高的结构相似性,与图 10中展现去雾后图像的视觉效果相一致.

表 2. 图像去雾结果的SSIM比较

Table 2. Image dehaze comparison of SSIM

ScenesF-LDCP[8]DCP[9]CAP[10]Non-local[11]Proposed
Buildings10.810.620.630.690.79
Buildings20.710.620.570.770.81
Buildings30.750.590.620.790.80
Buildings40.770.690.580.720.81
Buildings50.660.780.600.710.79
Cars10.710.680.630.770.82
Cars20.810.570.610.740.82
Cars30.820.800.790.800.88
Flowers10.730.550.580.750.81
Flowers20.750.680.760.830.78
Average0.7520.6580.6370.7570.811

查看所有表

表 3给出了几种图像去雾方法对不同尺寸图像的平均运算时间的对比结果.由于本文方法使用光场深度计算,光场深度计算需对场景的多视角图像进行处理,对多幅图像处理时速度较慢,在场景深度计算上会消耗大量时间,导致整个图像去雾过程的耗时较长.

表 3. 图像平均去雾时间对比

Table 3. Image dehaze comparison of average time

SizeF-LDCP[8]DCP[9]CAP[10]Non-local[11]Proposed
541×3756.247 s8.656 s5.654 s5.855 s154.665 s
625×4348.626 s11.445 s6.972 s7.671 s178.636 s

查看所有表

3.2.3 真实场景

图 11中将文献[8-11]去雾方法结果与本文图像去雾结果进行对比.其中场景一至场景四为较远距离雾天图像,场景五至场景八为中距离雾天光场图像.由图可知,四种方法在真实场景中的去雾结果分别存在不同程度的颜色失真,其中DCP[9]算法与CAP[10]算法的去雾图像整体偏暗,无法清晰识别场景中的物体.而F-LDCP[8]方法虽然增强了去雾后图像的亮度,但是在天空部分的颜色失真(图 11场景1图像)以及光晕效应(图 11场景6图像)较为严重.Non-Local[11]算法对于真实场景图像去雾效果较差,真实场景的噪声情况相比于合成图像更为复杂,从真实雾天单幅图像中计算深度信息比较困难,因此在最后的去雾结果中产生了较为严重的颜色失真(图 11场景4图像以及场景7图像).在真实场景中,雾的浓度亦会随着距离的增加而变厚,这对图像深度信息的获取增加了难度,对比不同景深的图像去雾结果可以看出,几种方法对于景深不同的雾天图像处理均出现一定程度的颜色失真和光晕效应,而本文方法在较好地去除场景中雾气的同时能够减轻去雾与图像的色彩失真情况并有效抑制图像的光晕效应.

图 11. 真实场景去雾结果

Fig. 11. Real scene dehazing results

下载图片 查看所有图片

4 结论

本文针对单幅雾天图像提供信息有限,难以通过直接获取场景深度信息进行图像去雾,以及分割不精确导致的光晕效应等问题,在大气散射模型的框架下,提出了结合光场成像技术获取雾天场景深度信息进行去雾的方法.利用光场深度获取得到场景的深度信息,根据场景深度计算图像初始透射率,将图像初始透射率与暗通道透射率进行加权融合得到最终的精细透射率.同时在场景深度信息的引导下结合边缘检测算法对图像的天空区域进行分割,针对天空区域单独计算大气光强,避免前景造成的干扰.将计算得到的最终透射率与大气光强输入大气散射模型对光场图像中心视角图像进行去雾处理.实验结果表明,本文所提出的方法能够有效地减轻恢复图像的色彩失真,同时能够很好地处理天空区域,减轻图像天空边界的光晕效应,取得了较好的去雾结果.本文将光场图像处理技术应用于图像去雾领域,探索了光场图像处理技术与图像去雾结合的可能性以及优势,将来的工作会针对雾天图像进行研究,进一步发挥光场深度估计的优势,使用抗噪性更高的深度线索计算雾天图像的深度信息并对算法进一步优化以降低算法的耗时.

参考文献

[1] NARASIMHAN S G, NAYAR S K. Contrast restoration of weather degraded images[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2003(6): 713-724.

[2] MCCARTNEY E J. Optics of the atmosphere:scattering by molecules and particles[M]. New York, John Wiley and Sons, Inc., 1976:421.

[3] KIM K, KIM S, KIM K S. Effective image enhancement techniques for fog-affected indoor and outdoor images[J]. Iet Image Processing, 2018, 12(4): 465-471.

[4] LI J Y, HU Q W, AI M Y. Haze and thin cloud removal via sphere model improved dark channel prior[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(3): 472-476.

[5] CHO Y, SHIN Y S, KIM A. Online depth estimation application to underwater image dehazing[C]. OCEANS 2016 MTSIEEE Monterey, IEEE, 2016.

[6] QING C, HU Y, XU X, et al. Image haze removal using depthbased cluster selfadaptive parameters[C]. 2017 IEEE International Conference on Inter of Things (iThings) IEEE Green Computing Communications (GreenCom) IEEE Cyber, Physical Social Computing (CPSCom) IEEE Smart Data (SmartData), IEEE, 2017: 10701075.

[7] JIANG B, MENG H, ZHAO J. Single image fog and haze removal based on self-adaptive guided image filter and color channel information of sky region[J]. Multimedia Tools and Applications, 2018, 77(11): 13513-13530.

[8] ZHU Y, TANG G, ZHANG X. Haze removal method for natural restoration of images with sky[J]. Neurocomputing, 2018, 275: 499-510.

[9] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353.

[10] ZHU Q, MAI J, SHAO L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533.

[11] BERMAN D, AVIDAN S. Nonlocal image dehazing[C]. Proceedings of the IEEE Conference on Computer Vision Pattern Recognition, 2016: 16741682.

[12] NG R, LEVOY M, BRéDIF M. Light field photography with a hand-held plenoptic camera[J]. Computer Science Technical Report, 2005, 2(11): 1-11.

[13] NIE Y F, BIN X, ZHOU Z L. Advances in light field photography technique[J]. Journal of the Graduate School of the Chinese Academy of Sciences, 2011, 28(5): 563-573.

[14] ZHANG Xu-dong, 张 旭东, 李 成云, LI Cheng-yun, WANG Yi-zhi, 汪 义志. 遮挡场景的光场图像深度估计方法[J]. 控制与决策, 2018, 33(12): 2122-2130.

[15] WANNER S, GOLDLUECKE B. Variational light field analysis for disparity estimation and super-resolution[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 36(3): 606-619.

[16] Lytro.[OL]. Available: https:illum.lytro.com.

[17] ZHANG S, SHENG H, LI C. Robust depth estimation for light field via spinning parallelogram operator[J]. Computer Vision and Image Understanding, 2016, 145: 148-159.

[18] RAJ A S, LOWNEY M, SHAH R. Lightfield database creation depth estimation[R]. Department of Computer Science, Stanfd University, Technical Rept, 2016.

[19] 王 国权, 周 小红, 蔚 立磊. 基于分水岭算法的图像分割方法研究[J]. 计算机仿真, 2009(5): 265-268.

[20] PRICE B L, MSE B S, COHEN S. Geodesic graph cut f interactive image segmentation[C]. Twentythird IEEE Conference on Computer Vision & Pattern Recognition, IEEE, 2010.

高隽, 褚擎天, 张旭东, 范之国. 结合光场深度估计和大气散射模型的图像去雾方法[J]. 光子学报, 2020, 49(7): 0710001. Jun GAO, Qing-tian CHU, Xu-dong ZHANG, Zhi-guo FAN. Image Dehazing Method Based on Light Field Depth Estimation and Atmospheric Scattering Model[J]. ACTA PHOTONICA SINICA, 2020, 49(7): 0710001.

本文已被 3 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!