光学学报, 2020, 40 (2): 0210001, 网络出版: 2020-01-02   

基于Tikhonov正则化和细节重建的红外与可见光图像融合方法 下载: 1633次

Infrared and Visible Image Fusion Method Based on Tikhonov Regularization and Detail Reconstruction
作者单位
河海大学物联网工程学院, 江苏 常州 213022
图 & 表

图 1. 算法流程示意图

Fig. 1. Algorithm flow diagram

下载图片 查看原文

图 2. 图像重建模型的框架

Fig. 2. Framework of image reconstruction model

下载图片 查看原文

图 3. 生成网络的结构

Fig. 3. Generative network structure

下载图片 查看原文

图 4. 判别网络的结构

Fig. 4. Discriminant network structure

下载图片 查看原文

图 5.

网络训练流程

Fig. 5.

Network training process

下载图片 查看原文

图 6. 不同分解方法对Smoke场景的分解效果。(a)原图像;(b)双边滤波;(c)引导滤波;(d)高斯金字塔;(e)小波变换;(f) Tikhonov正则化,α=2;(g) Tikhonov正则化,α=4;(h) Tikhonov正则化,α=8

Fig. 6. Comparison of decomposition effects of different decomposition algorithms for “Smoke” scene. (a) Original image; (b) bilateral filtering; (c) guided filtering; (d) Gaussian pyramid; (e) wavelet transform; (f) Tikhonov regularization, α=2; (g) Tikhonov regularization, α=4 ; (h) Tikhonov regularization, α=8

下载图片 查看原文

图 7. 不同分解方法对Heather场景的分解效果。(a)原图像;(b)双边滤波;(c)引导滤波;(d)高斯金字塔;(e)小波变换;(f) Tikhonov正则化,α=2;(g) Tikhonov正则化,α=4;(h) Tikhonov正则化,α=8

Fig. 7. Comparison of decomposition effects of different decomposition algorithms for “Heather” scene. (a) Original image; (b) bilateral filtering; (c) guided filtering; (d) Gaussian pyramid; (e) wavelet transform; (f) Tikhonov regularization, α=2; (g) Tikhonov regularization, α=4 ; (h) Tikhonov regularization, α=8

下载图片 查看原文

图 8. 不同算法对Quad场景的融合效果。(a)可见光图像;(b)红外图像; (c) DenseNet; (d) LatLRR; (e) VGG; (f) ResNet; (g) VSM; (h) QD; (i) GAN; (j)本文算法

Fig. 8. Fusion effects of different algorithms in “Quad” scene. (a) Visible image; (b) infrared image; (c) DenseNet; (d) LatLRR; (e) VGG; (f) ResNet; (g) VSM; (h) QD; (i) GAN; (j) proposed algorithm

下载图片 查看原文

图 9. 不同算法对Smoke场景的融合效果。(a)可见光图像;(b)红外图像;(c) DenseNet;(d) LatLRR;(e) VGG;(f) ResNet;(g) VSM;(h) QD;(i) GAN;(j)本文算法

Fig. 9. Fusion effects of different algorithms in “Smoke” scene. (a)Visible image; (b) infrared image; (c) DenseNet; (d) LatLRR; (e) VGG;(f) ResNet; (g) VSM; (h) QD; (i) GAN; (j) proposed algorithm

下载图片 查看原文

图 10. 不同算法对Nato_camp场景的融合效果。(a)可见光图像;(b)红外图像;(c) DenseNet;(d) LatLRR;(e) VGG;(f)ResNet;(g)VSM;(h)QD;(i)GAN;(j)本文算法

Fig. 10. Fusion effects of different algorithms in “Nato_camp” scene. (a) Visible image; (b) infrared image; (c) DenseNet; (d) LatLRR; (e) VGG; (f) ResNet; (g) VSM; (h) QD; (i) GAN; (j) proposed algorithm

下载图片 查看原文

图 11. 不同算法对模糊场景Kaptein_1123的融合效果。(a)可见光图像;(b)红外图像;(c) DenseNet; (d) LatLRR; (e) VGG; (f) ResNet; (g) VSM; (h) QD; (i) GAN; (j)本文算法

Fig. 11. Fusion effects of different algorithms in blurred “Kaptein_1123” scene. (a) Visible image; (b) infrared image; (c) DenseNet; (d) LatLRR; (e) VGG; (f) ResNet; (g) VSM; (h) QD; (i) GAN; (j) proposed algorithm

下载图片 查看原文

图 12. 不同算法对模糊场景Heather的融合效果。(a)可见光图像;(b)红外图像; (c) DenseNet; (d) LatLRR; (e) VGG; (f) ResNet; (g) VSM; (h) QD; (i) GAN; (j)本文算法

Fig. 12. Fusion effects of different algorithms in blurred “Heather” scene. (a) Visible image; (b) infrared image; (c) DenseNet; (d) LatLRR; (e) VGG; (f) ResNet; (g) VSM; (h) QD; (i) GAN; (j) proposed algorithm

下载图片 查看原文

图 13. 本文算法对其他场景的融合效果。(a) Steamer; (b) Bunker; (c) Street; (d) Jeep; (e) Soldier

Fig. 13. Fusion results of proposed algorithm in other scenes. (a) Steamer; (b) Bunker; (c) Street; (d) Jeep; (e) Soldier

下载图片 查看原文

图 14. 不同算法的程序运行时间对比

Fig. 14. Comparison of program running time of different algorithms

下载图片 查看原文

表 1全卷积模块的参数信息

Table1. Parameter information of fully convolutional block

NameKernel sizeStridePaddingOutput paddingOutput sizeBN
Input----320×320×64-
Conv1128×5×522-160×160×128
Conv2256×3×321-80×80×256
Conv3512×3×321-40×40×512
Conv4512×3×321-20×20×512
Conv51024×1×12--10×10×1024
DeConv1512×1×12-120×20×512
Add(Conv4+DeConv1)----20×20×512-
DeConv2512×1×121140×40×512
Add(Conv3+DeConv2)----40×40×512-
DeConv3256×3×321180×80×256
Add(Conv2+DeConv3)----80×80×256-
DeConv4128×3×3211160×160×128
Add(Conv1+DeConv4)----160×160×128-
DeConv564×5×5221320×320×64
Add(Input+DeConv5)----320×320×64-
Output1×5×512-320×320×1-

查看原文

表 2不同融合方法的客观评价结果

Table2. Objective evaluation results of different fusion methods

ImageMetricDenseNetLatLRRVGGResNetVSMQDGANProposed method
BunkerEN6.98076.81436.72776.80487.10737.07206.70437.1513
SD31.40328.37926.13728.18636.00639.47125.94737.497
SSIM1.27901.18061.15041.18501.21371.02721.14791.1767
CC0.62700.63160.63450.63970.62230.53940.63260.6274
SF0.01800.01980.02020.02030.02130.02090.02120.0213
HeatherEN6.94136.60366.86436.73727.12346.79956.74117.0281
SD32.67426.33730.48928.53738.26731.18530.19137.529
SSIM1.01850.95731.01361.00441.04340.82660.90950.9770
CC0.55750.55740.56490.56800.53800.46240.51060.5545
SF0.01740.01860.01970.01940.02100.01910.02040.0212
SandpathEN6.76426.25256.58666.54196.54196.73486.11596.7899
SD29.81222.35726.15927.95227.95232.38518.07228.921
SSIM0.90220.81950.88850.88110.88110.80180.77230.8921
CC0.47800.47330.48580.46810.46810.42860.48160.4725
SF0.02680.02620.02690.02730.02730.02700.02690.0273
JeepEN7.14966.54707.13316.99497.02407.23586.79807.2032
SD35.98823.43035.08033.68335.42739.73828.66938.340
SSIM0.65120.50180.64600.62880.63220.58750.49700.6019
CC0.36410.36170.36500.36710.35530.31740.28180.3428
SF0.01320.01290.01510.01510.01610.01580.01520.0170

查看原文

卢鑫, 杨林, 李敏, 张学武. 基于Tikhonov正则化和细节重建的红外与可见光图像融合方法[J]. 光学学报, 2020, 40(2): 0210001. Xin Lu, Lin Yang, Min Li, Xuewu Zhang. Infrared and Visible Image Fusion Method Based on Tikhonov Regularization and Detail Reconstruction[J]. Acta Optica Sinica, 2020, 40(2): 0210001.

本文已被 1 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!