融合多尺度局部特征与深度特征的双目立体匹配 
下载： 1636次
Binocular Stereo Matching by Combining Multiscale Local and Deep Features
1 重庆大学光电技术及系统教育部重点实验室, 重庆 400040
2 重庆大学光电工程学院, 重庆 400040
3 重庆师范大学计算机与信息科学学院, 重庆 401331
图 & 表
图 1. 本文提出的双目立体匹配方法总体框架
Fig. 1. Overall architecture of proposed binocular stereo matching method
下载图片 查看原文
图 2. 正负样本的构造方式
Fig. 2. Construction of positive and negative samples
下载图片 查看原文
图 3. 不同尺度和方向的Log-Gabor滤波器卷积后的图像特征
Fig. 3. Image features convoluted by Log-Gabor filter with different scales and directions
下载图片 查看原文
图 4. 旋转不变均匀LBP图像特征
Fig. 4. Rotation invariant uniform LBP image features
下载图片 查看原文
图 5. 多尺度特征图像块融合模块
Fig. 5. Fusion module of multi-scale feature image blocks
下载图片 查看原文
图 6. 基于MC-CNN的快速网络架构
Fig. 6. Fast network architecture based on MC-CNN
下载图片 查看原文
图 7. 两个数据集中的训练过程损失曲线。(a) KITTI2012 dataset; (b) KITTI2015 dataset
Fig. 7. Loss curves of training process on two datasets. (a) KITTI2012 dataset; (b) KITTI2015 dataset
下载图片 查看原文
图 8. 不同间隔m下两个数据集中的平均错误率
Fig. 8. Average error rate for different margins on KITTI2012 and KITTI2015 datasets
下载图片 查看原文
图 9. 不同图像块尺寸下两个数据集中的平均错误率
Fig. 9. Average error rate for different image patch sizes on KITTI2012 and KITTI2015 datasets
下载图片 查看原文
图 10. 不同噪声容限下两个数据集中的平均错误率
Fig. 10. Average error rate under different noise tolerances on KITTI2012 and KITTI2015 datasets
下载图片 查看原文
图 11. 不同样本构造方法下两个数据集中的训练损失曲线。(a) KITTI2012; (b) KITTI2015
Fig. 11. Training loss curves under different sample construction methods on two datasets. (a) KITTI2012; (b) KITTI2015
下载图片 查看原文
图 12. 各种方法得到的最终视差结果。(a) 原输入图; (b) SGM; (c) MC-CNN-fast; (d) LG-LBP CNN; (e) noise CNN; (f) our method
Fig. 12. Disparity results obtained by various methods. (a) Original input image; (b) SGM; (c) MC-CNN-fast; (d) LG-LBP CNN; (e) noise CNN; (f) our method
下载图片 查看原文
图 13. 本文方法在KITTI2012数据集上进行立体匹配得到的视差图。(a) 原输入左图; (b) 原输入右图; (c) 基准视差; (d) 视差图; (e) 误差图
Fig. 13. Disparity maps of stereo matching obtained by proposed method on KITTI2012 dataset. (a) Original left input image; (b) original right input image; (c) ground truth; (d) disparity map; (e) error graph
下载图片 查看原文
图 14. 本文方法在KITTI2015数据集上进行立体匹配得到的视差图。(a) 原输入左图; (b)原输入右图; (c) 基准视差; (d) 视差图; (e) 误差图
Fig. 14. Disparity maps of stereo matching obtained by proposed method on KITTI2015 dataset. (a) Original left input image; (b) original right input image; (c) ground truth; (d) disparity map; (e) error graph
下载图片 查看原文
表 1各算法的视差结果平均错误率对比(KITTI2012)
Table1. Average error rate comparison of disparity results of different algorithms (KITTI2012)
| Algorithm | Average error rate /% |
|---|
| >2 pixel | >3 pixel | >4 pixel | >5 pixel |
|---|
| SGM[18] | 6.52 | 5.36 | 4.38 | 3.82 | | MC-CNN-fast[14] | 5.02 | 3.27 | 2.61 | 2.11 | | LG-LBP CNN | 5.62 | 4.81 | 4.00 | 3.29 | | Noise CNN | 4.98 | 3.25 | 2.62 | 2.14 | | Our method | 5.03 | 3.23 | 2.59 | 2.10 |
|
查看原文
表 2各算法的视差结果平均错误率对比(KITTI2015)
Table2. Average error rate comparison of disparity results with different algorithms (KITTI2015)
| Algorithm | Average error rate /% |
|---|
| >2 pixel | >3 pixel | >4 pixel | >5 pixel |
|---|
| SGM[18] | 10.37 | 7.13 | 5.54 | 4.71 | | MC-CNN-fast[14] | 7.64 | 4.11 | 3.01 | 2.53 | | LG-LBP CNN | 9.06 | 6.31 | 4.45 | 4.14 | | Noise CNN | 7.61 | 4.10 | 3.01 | 2.51 | | Our method | 7.58 | 4.03 | 2.98 | 2.58 |
|
查看原文
表 3各算法的训练和测试时间
Table3. Time of each algorithm in training and testing processes
| Algorithm | SGM[18] | MC-CNN-fast[14] | LG-LBP CNN | Noise CNN | Our method |
|---|
| Train runtime /h | - | 5.6 | 5.8 | 5.6 | 6.5 | | Test runtime /s | 14 | 1.52 | 2.01 | 1.76 | 2.06 |
|
查看原文
王旭初, 刘辉煌, 牛彦敏. 融合多尺度局部特征与深度特征的双目立体匹配[J]. 光学学报, 2020, 40(2): 0215001. Xuchu Wang, Huihuang Liu, Yanmin Niu. Binocular Stereo Matching by Combining Multiscale Local and Deep Features[J]. Acta Optica Sinica, 2020, 40(2): 0215001.
PDF全文
