光与自然世界的关系是光学的永恒话题,多维度、多角度、多尺度贯穿着光学研究发展的整个历程。两千五百年前《墨经》的“光学八条”鸿蒙初辟,１９世纪上半叶光信息得以保存,正式开启了光学研究的序幕。不断发展的成像设备、更加先进的处理方法帮助人类留住自然世界稍纵即逝的光影信息;多学科交叉融合拓展了光学研究的维度,多角度的光路信息、多维度的光谱信息、空间与时间维度的叠加,为人类重现和理解自然世界提供了更加科学的方法,计算机视觉、图形学、机器学习与之相辅相成;在认识和研究自然光的同时,人类具备了指导光传播、重建光模态、编码光信息的能力,突破传统光学成像模型,提炼出有效光学信息,被动认识和主动改造相得益彰;时至今日,光学研究已经从宏观的七维全光函数跃迁至量子层次,以光的最小单位———光子作为主要研究对象,以期为生命科学、生物医学助力,推动人类回归本源,探索生命的奥秘。

光场为三维世界中光线集合的完备表示。通过记录更高维度的光线数据,光场能够准确感知周围复杂多变的动态环境,支撑智能系统对环境的理解与决策。计算光场成像技术围绕光场及全光函数表示,旨在结合计算、数字传感器、光学系统和智能光照等技术,以及硬件设计、软件计算能力,突破经典成像模型和数字相机的局限性,建立光在空域、视角、光谱和时域等多个维度的关系,实现耦合感知、解耦重建与智能处理,具备面向大范围动态场景的多维多尺度成像能力。光场成像技术正逐渐被应用于生命科学、工业探测、****、无人系统和虚拟现实/增强现实等领域,具有重要的学术研究价值和广阔的产业应用前景。然而,伴随着高维数据的离散化采样,光场成像面临空间分辨率与视角分辨率的维度权衡挑战,如何对稀疏化的采样数据进行光场重建成为计算光场成像及其应用的基础难题。与此同时,受制于光场信号的高维数据感知量,光场处理面临有效数据感知与计算高效性的矛盾。如何用光场这一高维信息采集手段,取代传统二维成像视觉感知方法,并结合智能信息处理技术实现智能化高效感知,是实现光场成像技术产业化应用的巨大挑战。对过去20年来计算光场成像装置与算法的研究进行概述和讨论,内容涵盖光场表示和理论、光场信号采集、空间与视角维度重建等。

近年来,深度学习被广泛应用于计算成像中,并取得了令人瞩目的成果,已成为该领域的研究热点。为了深入了解现有基于深度学习的方法是如何解决众多计算成像问题的,主要介绍了该方法的基本理论和实施步骤,然后以散射成像、数字全息及计算鬼成像中的应用为例具体介绍该方法的有效性和优越性。汇总对比了一些典型应用,并对基于深度学习的计算成像方法进行了总结和展望。

近年来,光学成像技术已经由传统的强度、彩色成像发展进入计算光学成像时代。计算光学成像基于几何光学、波动光学等理论对场景目标经光学系统成像再到探测器采样这一完整图像生成过程建立精确的正向数学模型,再求解该正向成像模型所对应的“逆问题”,以计算重构的方式来获得场景目标的高质量图像或者传统技术无法直接获得的相位、光谱、偏振、光场、相干度、折射率、三维形貌等高维度物理信息。然而,计算成像系统的实际成像性能也同样极大程度地受限于“正向数学模型的准确性”以及“逆向重构算法的可靠性”,实际成像物理过程的不可预见性与高维病态逆问题求解的复杂性已成为这一领域进一步发展的瓶颈问题。近年来,人工智能与深度学习技术的飞跃式发展为计算光学成像技术开启了一扇全新的大门。不同于传统计算成像方法所依赖的物理驱动,深度学习下的计算成像是一类由数据驱动的方法,它不但解决了许多过去计算成像领域难以解决的难题,还在信息获取能力、成像的功能、核心性能指标(如成像空间分辨率、时间分辨率、灵敏度等)上都获得了显著提升。基于此,首先概括性介绍深度学习技术在计算光学成像领域的研究进展与最新成果,然后分析了当前深度学习技术在计算光学成像领域面临的主要问题与挑战,最后展望了该领域未来的发展方向与可能的研究方向。

散射光学成像恢复是光学成像领域最重要的研究课题之一。科学家已经提出各种技术实现不同散射环境下的成像恢复。其中,散斑相关性的解卷积技术具有成像质量高、恢复速度快和易于集成等优点。简要综述了散斑相关成像的进展,从光学记忆效应和解卷积原理出发,介绍点扩展函数新物理特性及其在成像恢复中的应用,总结点扩展函数的间接获取方法,最后提出光场全要素(plenoptics)的概念。光场的全要素探索有望在更复杂散射环境中提供更全面的信息,使散射光学成像技术在生物、医疗、海洋、**和日常生活等场景中更具应用前景。

散射在光的成像过程中无法避免,传统的光学成像技术很难解决散射引起的光波前畸变及图像失真等问题。近年来,大量的研究成果表明充分利用散射效应的成像技术可以实现透过散射介质或复杂介质成像,且具有超分辨的特性。本文在介绍散射成像基本原理的基础上,重点介绍了透过散射介质成像方法以及相关技术的研究进展,分析了散射成像尚存在的问题,最后对散射成像未来的研究方向进行了展望。

早期压缩感知在光学成像领域的应用主要集中在空域压缩成像。近年来,更多的空域压缩成像采用阵列式探测器取代单元探测器采集测量值。同时,压缩成像的研究也从二维空间拓展到三维测距、高速成像、多光谱成像、关联成像和全息成像等方向。本文针对空域高分辨率压缩成像、压缩感知测距和时域高速压缩成像进行详细分析,结合空域压缩成像总结了测量矩阵设计的研究进展,讨论研究中遇到的困难以及未来可能发展的机遇,并对压缩感知在多光谱、关联成像、和全息成像中的应用研究进行了讨论。此外,本文也总结了近几年深度学习技术在各应用方向上对系统目标恢复性能的改善。

鬼成像是一种与传统成像方式不同的通过光场涨落的高阶关联获得图像信息的新型成像方式。近年来,相比传统成像方式,鬼成像所拥有的一些优点如高灵敏度、超分辨能力、抗散射等,使其在遥感、多光谱成像、热X射线衍射成像等领域得到广泛研究。随着对鬼成像的广泛研究,数学理论和方法在其中发挥的作用愈显突出。例如,基于压缩感知理论,可以进行鬼成像系统采样方式优化、图像重构算法设计及图像重构质量分析等研究工作。本文旨在探索鬼成像中的一些有趣的数学问题,主要包括:系统预处理方法、光场优化及相位恢复问题。对这些问题的研究既可以丰富鬼成像理论,又能推动它在实际应用中的发展。

近场是指局域在物体表面附近亚波长范围内的空间区域。倏逝波存在于近场区域,可利用其与物质的相互作用特性对位于近场区域的某些介质样品进行高分辨率成像,及对样品物性变化进行高灵敏度测量,其中,基于全内反射和表面等离子体共振的近场成像与测量方法已在许多领域获得广泛应用。将数字全息术与这类近场测量方法相结合,可进一步有效解决自近场区域反射光波的相位分布的高精度全场动态测量问题。重点介绍基于全内反射数字全息术和表面等离子体共振全息显微术的近场成像方法与测量应用研究进展。

光学成像技术极大地拓展了人类的视觉极限,提高了人们观察和理解现实世界的能力。越多地获得目标的光学信息,对其的认识越充分。数字全息术是一种可以将样本的三维信息以二维全息图的形式编码记录下来的一种成像技术。通过获得由携带物体信息的物光波和参考光波叠加产生的干涉图案,可以以数字化的方式实现多种重建模态,例如图像恢复、相位成像和切片成像等。光学扫描全息术是一种独特的数字全息成像技术,通过主动式二维化扫描对三维物体进行成像,其完整的波前信息可以被单像素探测器记录,并基于光外差检测进行信号解调,从而恢复出复数全息图。对光学扫描全息术的最新进展进行介绍。首先,基于双光瞳成像系统,通过特殊的硬件和算法设计,提高光学成像系统的性能,如提高空间分辨率、缩短扫描时间。其次,基于计算成像原理,通过改进和优化全息像重建算法,实现高质量的图像恢复,主要涉及切片成像和三维成像等重建模态。第三,介绍光学扫描全息术的其他研究方向,并讨论该领域未来可能的发展方向。

Ptychography是近些年快速发展起来的一种新型相位恢复技术,通过对待测样品以小于照明光直径的步长扫描后,利用迭代计算可以重建出照明光和样品复振幅分布,是一种理论分辨率为衍射极限的非透镜相位成像技术。虽然其提出初期受限于基本假定条件,但近些年随着相关研究的跟进,人们对Ptychography算法特性的理解逐渐深入,算法也日趋成熟,在可见光、X射线和电子束等领域已被广泛应用于相位成像、波前诊断和光学计量,因此针对影响重建过程和精度的关键因素,如模态多样化、扫描误差、光斑误差、距离误差、样品厚度不可忽略等进行了总结,并讨论了针对上述问题的关键技术进展。

在基于相机的众多应用场合中,对相机内外参数与镜头畸变参数的标定是关键环节,确定其标定过程的简易操作及标定结果的精度至关重要。与面阵相机相比,线阵相机的标定过程较为复杂。介绍了适合线阵相机的成像几何模型和镜头畸变模型,总结了线阵相机标定的一般流程,归纳分析了文献中基于静态成像和动态扫描成像的标定方法,并对其特点作出了简要评价。

编码摄像通过对光照、光路、传感等进行调制获取编码耦合的场景信息,并利用解码计算与图像信号处理,实现高精度场景重建,从而突破传统光学成像模型和物理器件的局限,有效提升成像系统的信息传递效率。随着光源、光学元件、传感器等成像要素的不断革新以及新型成像方法的出现,编码摄像技术取得了快速的发展,应用前景广阔。本文对编码摄像技术的进展进行了综述,重点围绕光照编码、光路编码和传感编码三个方面进行介绍。

实现脉冲星导航首先需要对脉冲星进行高精度测量,而脉冲星辐射的X射线相干时间极短,到达卫星探测器的光通量极低,必须在极弱光条件下实现强度关联探测来获取脉冲星信息。针对这一问题,使用可见光模拟源进行了强度关联干涉测量实验研究,获取二阶干涉条纹并得到了对应的角直径,分析了符合计数对测量误差的影响,以及探测系统的空间和时间分辨率对强度关联干涉测量结果的影响,为脉冲星X射线强度关联探测系统硬件参数的选取提供了依据。

将光场成像理论与三维颗粒追踪测速(PTV)技术相结合,实现了单相机三维流场的测量。结合高斯光学和相似原理,推导出了深度与最优重聚焦系数的关系。搭建了光场标定与流场测量系统,提出基于光场成像理论模型的深度标定方法,并与泰勒多项式拟合方法进行对比,证明了其具有较高的稳健性。利用清晰度最大原理,获得原始光场图像的全聚焦图,采用最小特征值角点检测算法对全聚焦图上的颗粒进行定位,结合三维粒子追踪技术,得到颗粒的三维速度。形成了光场PTV的图像处理流程,并对后向台阶流场进行了实测,结果表明光场PTV技术能够较好地测量三维流场。

针对光场成像中视角图提取的分辨率与数据准确性无法兼顾的问题,提出一种非周期性视角图提取算法。首先分析微透镜阵列采样原理,计算出各微透镜中心的偏移量;然后分析视角范围,通过合成多个视点的方式,计算合成视点对应各微透镜的投影区域;最后非周期性地提取像素块构成视角图。实验中采用Lytro相机采集光场数据,采用非周期性算法提取大小为2×2和3×3的像素块构成视角图,相较于传统方法视角图的分辨率分别提升了2×2倍和3×3倍,图像质量也得到较大幅度提升。

通常情况下,激光光束经过散射介质后会产生无序的散斑。基于波前相位调制技术,利用连续序列算法结合四步相移法对入射激光的波面进行相位调制,使其通过散射介质在目标位置处形成聚焦。实验着重研究激光经过不同厚度的强散射片样品的聚焦,讨论散射介质的厚度与聚焦点光强增长因子的关系。实验结果表明,透过的散射介质越厚,聚焦光斑尺寸越小,目标位置处聚焦点的光强增长因子也越小。

在管激发X射线荧光CT(XFCT)成像研究中,探测角度与系统背景噪声、探测灵敏度、信噪比等参数密切相关。鉴于此,基于Geant4设计一套多针孔准直管激发XFCT成像系统,并对探测角度与成像系统信噪比、重建图像质量之间的关系进行研究。通过改变管电压、金纳米溶液质量分数、感兴趣区域直径三个参数,模拟60°、90°、120°和150°等不同探测角度下的X射线荧光投影数据和散射噪声的探测过程,并计算其信噪比。仿真结果表明:探测角度的增大能够提升信噪比和重建图像质量,多数情况下,探测角度为120°时的信噪比最佳。

针对红外遥感船只检测领域存在的硬件存储资源和功耗的限制,以及目标检测输出边界矩形框形式结果不够精细的问题,提出了一种轻量化且具有像素级输出的分割网络TRS-Net。将图像分割的编码-解码结构用于船只检测,以获得像素级的输出;将32 bit的浮点型参数二值化(目的是压缩网络模型的大小),提出了BS-Net;针对BS-Net带来的检测精度低的问题,引入残差连接,提出了BRS-Net;根据神经网络稀疏性特点引入参数三元化,提出了TS-Net;为进一步提升检测效果,将TS-Net改进成TRS-Net。采用实验室自主研制的长波红外相机进行成像实验,获取红外船只图片并制作数据集,对4种网络的结果进行对比分析。结果表明:TRS-Net检测的精确率为88.73%,召回率为83.34%,F1-score为85.95%,交并比为75.36%,模型大小压缩为原先的1/16。TRS-Net对红外船只的实时检测具有一定的工程应用价值。

利用单相机中已获得的可靠相位数据,提出一种双目视觉相位匹配中的视差孔洞数据插补方法。该方法在测量系统的标定阶段只需增加一个平面相位和高度数据作为参考,利用数据缺失区域周围有效像素点的三维点云,及相对于参考平面的相位和高度差建立隐式相位-高度映射关系,然后由单相机可靠相位数据实现孔洞区域的点云重建插补。对标准件进行缺失点云插补实验,重建精度为0.07 mm。对人脸面具和葫芦模型进行双目测量和孔洞插补实验,结果证明该方法可以很好地补全遮挡区域缺失的点云。

为了实现遥感图像中目标的快速准确检测,解决遥感图像目标带有旋转角度的问题,在卷积神经网络理论的基础上,将旋转区域网络生成融入到Faster R-CNN网络中,提出了一种基于Faster R-CNN改进的遥感图像目标检测方法。相对于主流目标检测方法,本文算法针对遥感图像中的大多数目标都具有方向性不定且相对聚集的特点,在区域候选网络中加入了旋转因子,以便能够生成任意方向的候选区域;同时,在网络的全连接层之前增加一个卷积层,以降低其特征图参数,增强分类器的性能,避免出现过拟合。将本文算法与几种主流目标检测方法进行对比分析后可知,本文算法因融合了多尺度特征及旋转区域网络的卷积神经网络所提取的特征,能得到更好的检测结果。

提出一种单幅图像动态重聚焦方法,结合基于深度学习的光场合成与基于几何结构的弥散圆渲染方法,模拟出光场重聚焦效果。该方法仅输入单幅图像,首先进行深度估计,然后将深度图转换为视差,最后在不同深度确定弥散圆直径以进行像素重采样。设计两种神经网络结构,分别以光场相机的多视角子图和重聚焦图像为样本进行有监督的深度学习。在多个数据集和实际场景中的实验结果表明,本文方法在可接受的计算成本下能获得优于其他方法的视觉效果与评价指标,峰值信噪比达到了34.55,结构相似度达到了0.937。

在进行高分辨率成像时,由于需要大量的测量和图像重建计算,单光子压缩成像需要较长的时间。提出了一种采样和重建集成的残差编解码网络SRIED-Net用于单光子压缩成像。将二值化的全连接层作为网络的第一层,并将其训练成二进制的测量矩阵,直接加载到数字微镜阵列上以实现高效压缩采样。除第一层外的其余网络都用于快速重建压缩感知图像。通过一系列的仿真和系统实验比较了压缩采样率、测量矩阵和重建算法对成像性能的影响。实验结果表明,SRIED-Net在低测量率下优于目前比较先进的迭代算法TVAL3,在高测量率下与TVAL3的效果很接近,在所有测量率下都优于目前常见的几种基于深度学习的方法。

集成电路(IC)芯片引脚的共面性检测是确保其贴装质量的关键。基于单幅图像提出一种IC引脚共面性检测方法。首先,基于单目视觉系统建立相机、光源和被测表面的关系模型;其次,给出发光二极管(LED)环形结构光源的光强标定方法,并通过实验确定被测IC引脚材质的相关参数;然后,基于建立的光强与图像灰度的关系模型给出高度信息的求解方法;最后,基于高度信息还原IC引脚及其焊点的表面三维形貌。实验结果表明,本文方法检测IC芯片引脚及其焊点的实验结果与实际测量结果相比,其高度测量误差小于±0.08 mm,相对误差为-2.6%,验证了本文方法的有效性。

基于反射光强度和深度二维变量的含加性权值B样条曲面误差拟合被用于校正由目标场景的低反射率或长距离引起的弱光强度相关深度误差。与传统的B样条曲面误差拟合相比,改进的模型使用权值参数优化每个曲面片的部分控制点,获得了更精确的误差拟合曲面片,使得平均校正误差小于2 mm,精度提高了近2倍。此外,为克服乘性权值矩阵无法通过最小二乘法获取的难题,对每个控制点添加加性权值参数,实现相机参数校准过程中一次性求得控制点参数矩阵和加性权值参数矩阵。同时,考虑到谐波相关误差也与深度相关,将谐波相关误差的校正统一到校正方法中。

提出了一种针对宽视场偏振调制显微成像的顾及多降晰因素的点扩展函数(PSF)估计与图像重构的正则化方法,对降晰过程中图像因偏振角调制曲线的拟合偏差、光学系统退化和电荷耦合器件(CCD)离散欠采样而退化的PSF估计选用了自适应的变指数函数正则化模型,充分利用获取的图像内容特性选用可变的正则化范数,有效抑制了全变分(TV)正则化的阶梯效应和Tikhonov正则化保边性差的缺点。求解过程采用了优化的Split-Bregman迭代算法,在保证估计精度的同时降低了计算复杂度。实验结果表明,本文提出的方法能有效估计出成像退化的PSF,重建的噪声鲁棒性更好。

编码孔径光谱成像系统利用空间光调制器对目标信息进行编码,将信号映射到二维探测器面阵上,形成空间和光谱混叠信息,通过重构算法恢复出光谱数据立方体。由于该系统的色散仅仅发生在水平方向上,为了提高编码的效率,提出只在一个方向上具有编码效果的多狭缝组合编码。与目前采用的二维随机编码比较,在取得相同重构结果的前提下,多狭缝组合编码形式简化了数学模型的建立和分析,降低了编码复杂度。在此基础上,利用液晶光阀的开关特性实现实际系统编码,结合PGP(棱镜-透射光栅-棱镜)分光组件搭建光谱成像系统,进行了不同采样率下的实验,得到了高精度的恢复结果,验证了系统编码的可行性,为编码光谱成像系统领域提供了新思路。

针对光场成像中对焦图像混叠离焦、具有模糊弥散斑的问题,提出了一种基于微透镜阵列的合成孔径去遮挡算法。搭建含微透镜阵列的微型光场单相机系统,进行原始图像数据采集;采用合成孔径技术对遮挡物进行数字聚焦,识别出遮挡物;选择灰度方差,对遮挡物和目标物体像素值范围进行划分,将识别出的遮挡物去除,并进行二次聚焦,提取出目标图像。实验表明:该算法同其他算法相比,无参考图像质量评价值平均提高18.83%,提升了图像质量;同时也呈现了场景的三维信息,具有较高的对比度和信噪比。

漫射物体的压缩全息利用其非相干散射密度函数在统计意义上满足稀疏先验这一假设,可以从多幅散斑图案实现漫射物体的层析重建,避免了散斑和不同平面的散焦图像之间的串扰。将单波长照明条件拓展到红、绿、蓝三色波长,提出一种新的适用于彩色漫射物体的压缩全息层析成像方法,搭建多波长照明条件下漫射物体的层析成像模型,并通过解压缩推理方法有效地分离不同平面的三维非相干密度函数。数值模拟实验表明,所提方法可以在多幅二维彩色散斑图案中成功进行彩色层析漫射物体的压缩重建,有效地抑制了散斑效应以及不同平面的散焦图像之间的相互串扰。