1 西安电子科技大学光电工程学院，陕西 西安 710071
2 西安电子科技大学杭州研究院，浙江 杭州 311231
针对场景偏振三维成像中光照不均匀、色彩、材料复杂和大视场下观测方向变化等原因造成的偏振法线梯度不准确和真实三维信息获取困难的问题，提出一种基于方向感知卷积神经网络的场景偏振三维成像新方法。首先，搭建具有方向感知能力的场景深度估计网络结构；其次，利用卷积神经网络所估计的场景深度对偏振法线梯度进行校正；最后，利用校正后的梯度通过基于梯度的积分算法进行三维重建。实验结果表明，所提方法解决了偏振固有的方位角模糊，提高了在光照不均匀、大视场范围场景条件下获取的法线梯度的准确性，最终在恢复场景真实三维形状的同时保留了丰富的纹理细节信息。实验结果证明了所提技术的有效性与优越性。
偏振三维成像 深度估计 梯度场校正 神经网络 激光与光电子学进展
2024, 61(2): 0211029
1 南昌理工学院电子与信息学院，江西 南昌 330013
2 海南科技职业大学机电工程学院，海南 海口571126
为进一步提高室外场景无人机深度测量值的精度，提出了基于激光传感器的双目无人机室外场景视觉深度估计方法。利用回波信号方程分解无人机的回波脉冲信号，解决激光传感器接收回波信号时出现的叠加回波问题。依据激光传感器中的激光成像原理，对无人机的回波信号进行小目标检测成像，解决了因邻近目标波形覆盖难以提取小目标的问题。利用反向卷积神经网络重构图像网络，重新设定Skip的作用域用来无缝拼接提取到的图像特征，以此实现双目无人机室外场景的视觉深度估计。试验结果表明，运用该方法估计室外场景深度时，检测到深度测量值与标准测量曲线相近，视差像素比例可以维持在50%以上，且深度估计的评价均优于对比方法。
激光传感器 双目无人机 室外场景 视觉深度估计 激光成像 laser sensor binocular drone outdoor scene visual depth estimation laser imaging
1 中国矿业大学 信息与控制工程学院,江苏 徐州 226
2 中国矿业大学 计算机与科学技术学院,江苏 徐州 1116
针对目前自监督单目深度估计网络在充斥着大量低纹理、低光照区域的室内复杂场景中存在预测深度信息不精确、物体边缘模糊以及细节丢失严重等问题，本文提出一种基于层级特征融合的室内自监督单目深度估计网络模型。首先，通过映射一致性图像增强模块来处理室内图像，提升低光照区域可见性并且保持亮度一致性，丰富纹理细节，一定程度上解决了训练网络时出现模糊假平面恶化模型的问题。然后，设计结合基于注意力机制的跨层级特征调整模块的深度估计网络，充分融合编码器以及编-解码器多层级特征信息，提升网络的特征利用能力，缩小预测深度与真实深度的语义差距。最后，设计基于图像风格特征的格拉姆矩阵相似性损失函数作为额外的自监督信号约束网络模型，提升网络预测深度的能力，进一步提高了预测深度的精度。在NYU Depth V2 和ScanNet室内数据集上进行训练与测试，正确预测深度像素的比例能够分别达到81.9%和76.0%。实验结果表明，相比现有主要的室内自监督单目深度估计网络，本文网络模型很好地保持了物体边缘和细节信息，有效地提高了预测深度的精度。
自监督 单目深度估计 图像增强 层级特征融合 格拉姆矩阵 self-supervision monocular depth estimation image enhancement feature fusion gram matrix 光学 精密工程
2023, 31(20): 2993
通过发掘深度信息与子孔径图像邻域像素间的高度相关性，提出了一种基于邻域像素注意力机制的光场深度估计方法。首先根据光场图像的数据特性提出了一种邻域像素注意力机制，该注意力机制考虑了不同子孔径图像在同一邻域间的极几何关系，能够增强网络对遮挡像素的感知能力。其次基于注意力机制设计了一个光场子孔径图像序列特征提取模块，该模块通过三维卷积将相邻序列图像上的特征编码到特征图上，并通过注意力机制增强网络对光场图像极几何特征的学习能力。最后联合邻域像素注意力机制和特征提取模块设计了一个多分支的全卷积神经网络，该网络使用部分光场子孔径图像序列即可估计图像的深度特征。实验结果表明，所提方法在均方误差（MSE）和平均坏像素率（BP）指标上总体表现优于其他先进方法，同时得益于高效注意力机制的加入，与其他先进方法相比所提方法运行速度最快。
光场图像 深度估计 邻域像素 注意力机制 神经网络 光学学报
2023, 43(21): 2115003
北京信息科技大学应用数学研究所，北京 100101
利用聚焦堆栈估计场景深度是计算成像领域中的重要技术手段。提出三维自适应加权全变分计算框架，用于解决场景中弱纹理区域和遮挡区域深度线索丢失导致深度估计不准确的问题。相比传统二维引导滤波方法，所提三维优化框架不仅考虑聚焦堆栈和聚焦测度中共同蕴藏的场景几何结构，避免在深度图中错误地引入场景物理信息，还充分考虑聚焦堆栈和聚焦测度沿图像序列方向的结构特点，实现更高程度的数据保真。模拟数据和实际数据实验结果表明，所提方法能够有效提升聚焦堆栈估计深度的精度。
图像处理 聚焦堆栈 聚焦测度 深度估计 结构一致性 光学学报
2023, 43(20): 2010001
1 江西理工大学 理学院，江西赣州34000
2 江西理工大学 电气工程与自动化学院，江西赣州341000
多视图立体重建（Multi-view stereo Reconstruction，MVS Reconstruction）的目标是根据一组已知摄像机参数的多视角图像来重建场景的三维模型，是近年来三维重建的一类主流方法。本文针对最新的近百个基于深度学习的MVS方法做了较为系统的算法评估对比。首先，对现有的基于监督学习的MVS方法，按照特征提取、代价体构建、代价体正则化和深度回归的重建流程对各算法进行梳理，重点对代价体构建和正则化这两阶段的改进策略进行归纳总结，对于无监督的MVS方法，主要分析各算法损失项的设计，并按照其训练方式进行分类；其次，总结了MVS方法常用的实验数据集及其对应的性能评价指标，进一步研究特征金字塔结构、注意力机制、由粗到精等策略的引入对MVS网络性能的影响；此外，介绍了MVS方法的具体应用场景，包括数字孪生、自动驾驶、机器人技术、遗产保护、生物科学等领域；最后，提出关于MVS改进方向的建议，并对多视图三维重建未来的技术难点与研究方向进行探讨。
多视图立体 三维重建 深度学习 深度估计 单应性变换 multi-view stereo 3D reconstruction deep learning depth estimation homography transformation 光学 精密工程
2023, 31(16): 2444
1 电子科技大学光电科学与工程学院，四川 成都 610000
2 陆军研究院装甲兵研究所，北京 100072
设计了一种无偏振片液晶透镜的离焦深度测量（DFD）方法。分别建立液晶透镜成像下的o光和e光的高斯模糊退化模型，将其加权求和得到自然光在液晶透镜成像下的模糊退化模型，求取自然光和e光下深度估计对噪声的偏导，并进行数值仿真，结果表明，自然光模型比e光模型抗干扰能力更强，小模糊光斑比大模糊光斑抗干扰能力更强。在无偏模糊均衡滤波器（UDE）算法的基础上，利用导向滤波对偏差进行滤波，并对置信度模型进行修正，引入实例分割对估计结果进行优化。搭建了放大率恒定的液晶透镜光学成像系统，实现了自然光条件下利用液晶透镜的深度测量。实验结果表明，本文方案和e光条件下UDE方法相比，均方根误差降低了56%。
机器视觉 无偏振片 液晶透镜 失焦深度估计 无偏滤波器 实例分割 光学学报
2023, 43(14): 1415002
北京理工大学光电学院北京市混合现实与新型显示工程技术中心，北京 100081
提出了一种针对室内场景的轻量化端到端单目深度估计神经网络。首先设计了新型自适应深度分布估计模块，可针对不同输入图像估计差异化的深度范围，使得网络更好地预测室内物体的相对位置关系，恢复出的深度图像能获得更接近真实值的像素分布。其次，在深度估计的过程中，通过基于平面系数的深度间接表示形式加入平面隐式约束，可以在场景的平面区域得到更平滑的深度估计结果。在NYU Depth-v2数据集上的多项实验结果表明，提出方法能满足较高分辨率下的实时性要求，同时能以更少的参数恢复出质量更高、更完整的室内深度图像，有助于实现更加准确的三维重建效果。
机器视觉 深度估计 单目三维重建 神经网络 光学学报
2023, 43(14): 1415001
