Wei Yin 1,2,3†Yuxuan Che 1,2,3†Xinsheng Li 1,2,3Mingyu Li 1,2,3[ ... ]Chao Zuo 1,2,3,****
Author Affiliations
Abstract
1 Smart Computational Imaging Laboratory (SCILab), School of Electronic and Optical Engineering, Nanjing University of Science and Technology, Nanjing 210094, China
2 Smart Computational Imaging Research Institute (SCIRI) of Nanjing University of Science and Technology, Nanjing 210019, China
3 Jiangsu Key Laboratory of Spectral Imaging & Intelligent Sense, Nanjing 210094, China
4 Department of Electrical and Electronic Engineering, The University of Hong Kong, Pokfulam, Hong Kong SAR 999077, China
Recently, deep learning has yielded transformative success across optics and photonics, especially in optical metrology. Deep neural networks (DNNs) with a fully convolutional architecture (e.g., U-Net and its derivatives) have been widely implemented in an end-to-end manner to accomplish various optical metrology tasks, such as fringe denoising, phase unwrapping, and fringe analysis. However, the task of training a DNN to accurately identify an image-to-image transform from massive input and output data pairs seems at best na?ve, as the physical laws governing the image formation or other domain expertise pertaining to the measurement have not yet been fully exploited in current deep learning practice. To this end, we introduce a physics-informed deep learning method for fringe pattern analysis (PI-FPA) to overcome this limit by integrating a lightweight DNN with a learning-enhanced Fourier transform profilometry (LeFTP) module. By parameterizing conventional phase retrieval methods, the LeFTP module embeds the prior knowledge in the network structure and the loss function to directly provide reliable phase results for new types of samples, while circumventing the requirement of collecting a large amount of high-quality data in supervised learning methods. Guided by the initial phase from LeFTP, the phase recovery ability of the lightweight DNN is enhanced to further improve the phase accuracy at a low computational cost compared with existing end-to-end networks. Experimental results demonstrate that PI-FPA enables more accurate and computationally efficient single-shot phase retrieval, exhibiting its excellent generalization to various unseen objects during training. The proposed PI-FPA presents that challenging issues in optical metrology can be potentially overcome through the synergy of physics-priors-based traditional tools and data-driven learning approaches, opening new avenues to achieve fast and accurate single-shot 3D imaging.
optical metrology deep learning physics-informed neural networks fringe analysis phase retrieval Opto-Electronic Advances
2024, 7(1): 230034
河南工业大学信息科学与工程学院，河南 郑州 450001
相移轮廓术由于其高测量精度和高鲁棒性已广泛应用于各个领域。然而，由于需投射多幅条纹图到物体表面，因此要求物体在测量过程中保持静止。另一方面，当重建高反光运动物体时，不仅出现过曝光现象，过曝光位置还将随着物体运动而变化，对测量提出了挑战。基于此，提出一种测量高反光运动物体的算法。过曝光位置随着物体运动变化意味着并非所有条纹图都存在过曝光。首先，投射双频率条纹图到运动物体表面并拍摄。其次，识别所有条纹图中的过曝光区域，并记录物体上每一点的非过曝光条纹图。再次，基于非等间隔相移的非过曝光条纹图进行相位提取，获得双频率相位分布。最后，对双频率相位分布进行运动补偿，并基于双频率解包裹算法实现正确解包裹，完成高反光运动物体三维重构。实验结果表明，该算法能有效减小高反光运动物体引起的测量误差，具有较高的工业应用价值。
条纹分析 三维重构 相移轮廓术 高动态范围 过曝光 激光与光电子学进展
2024, 61(4): 0412005
金子蘅 1,2,3徐可 1,2,3张宁远 1,2,3邓潇 1,2,3[ ... ]冯世杰 1,2,3,*
1 南京理工大学电子工程与光电技术学院智能计算成像实验室，江苏 南京 210094
2 南京理工大学智能计算成像研究院，江苏 南京 210019
3 南京理工大学江苏省光谱成像与智能感知重点实验室，江苏 南京 210094
近年来，深度学习技术广泛应用于计算光学三维成像的研究中。在条纹投影轮廓术中，通过训练深度学习网络，可从单幅条纹图像中恢复高精度的相位信息。然而，为了训练神经网络模型，通常需要耗费大量的时间成本和人力成本来采集训练数据集。为了解决该问题：首先，建立数字孪生条纹投影系统，并利用域随机化技术对虚拟照明光栅进行增强，使用计算机进行虚拟扫描，生成大量仿真光栅条纹图像；其次，利用仿真光栅图像对U-Net神经网络进行预训练；最后，引入迁移学习，采用少量真实光栅条纹图像对神经网络进行参数微调。由于U-Net的结构特殊性，提出并分析了“从左至右”“从上至下”“全局微调”等3种U-Net神经网络微调策略。实验结果表明，采用“从上至下”策略微调U-Net“瓶颈”网络模块的方法可获得最佳的迁移学习结果，神经网络的相位预测精度可得到显著提升。相比于使用大量真实数据进行训练，所述方法仅利用20%的数据就可训练神经网络获得高精度的相位重建结果。
计算成像 条纹投影 深度学习 迁移学习 条纹分析 激光与光电子学进展
2024, 61(2): 0211024
结构光三维测量技术由于精度高、非接触等优点在传统制造业中得到了广泛的关注和应用。智能制造、人工智能等新兴领域的高速发展对如何高效获取高精度三维数据源提出了更高的要求。应用于三维测量系统的相位误差补偿技术作为实现高精度结构光测量方法的重要步骤，对测量结果的获取精度和效率起着关键性作用。首先简要介绍相移测量轮廓术的基本原理和不同误差来源导致的相位误差形式，随后分类讨论各个误差类型的补偿方法、优化方向及适用场景，最后总结基于相移条纹分析的相位误差补偿技术所面临的挑战及潜在的发展趋势。
三维重建 结构光照明 条纹投影 相移条纹分析 相位误差补偿 激光与光电子学进展
2024, 61(2): 0211008
在相位测量偏折术(Phase Measuring Deflectometry, PMD)中为获取面形梯度, 需要分别获取水平和垂直相移条纹图像, 因此所需图像通常较多。为了减少条纹投影幅数, 提出一种新的基于复合条纹的相位获取方法, 通过将水平和垂直相位信息叠加形成斜条纹, 实现基于5幅复合斜条纹的相位获取方法, 相位测量精度高于5步正交光栅相移方法。进一步当系统存在非线性响应时, 提出了基于7幅斜复合条纹的相位获取方法, 可有效消除系统2阶非线性误差。计算机仿真和实验表明所提方法切实可行, 其测量精度高于采用同样帧数的正交条纹方法。
偏折术 条纹分析 非线性分析 相位误差校正 deflectometry fringe analysis nonlinear analysis phase error correction
南京理工大学 电子工程与光电技术学院，南京 210094
分辨率的传统主观评价方法人为不确定因素强且精确度低，而传统客观评价法存在着人为干预力度大和耗时长的缺陷。针对该问题，提出了一种基于拼接条纹单元图像灰度变化特征的微光像增强器荧光屏分辨力客观评价方法。通过拼接单元条纹图像并采用固定空间核沿条纹变化方向扫描图像获得反映条纹变化强度的灰度序列，从而生成单元条纹清晰度，然后将单元条纹的“清晰度-分辨率”对应与线性拟合算法相结合求出像管分辨率。为验证该方法的性能，将其与传统像管分辨力评价方法进行对比。实验证明，该方法在时效性和准确度方面均优于传统客观评价方法，在可重复性方面优于传统主观评价方法。所提出的微光像增强器荧光屏分辨力客观评价方法能够克服传统评价方法的种种弊端，为该参数的标准化测量提供一种有效可行的方案。
光学器件测量 光学系统 条纹分析 图像分割 微光像增强器 Optical instrument measurement Optical system Fringe analysis Image segmentation Low-light-level image intensifier
1 四川大学电子信息学院, 四川 成都 610064
2 浙江师范大学信息光学研究所, 浙江 金华 321004
针对动态孤立场景三维形貌测量难题,提出了时域傅里叶条纹分析方法,充分利用被测动态场景对多周期相移投影条纹在时间域上的调制,对携带被测面形变化信息的系列变形条纹沿时间轴作傅里叶条纹分析,提取相位进行对应的三维重建,有效保留了复杂场景的空间高频信息。为了保证相位信息准确可靠,设计了三频条纹复合的圆盘光栅,经电机带动进行旋转投影,在被测场景表面产生多周期相移条纹。该方法不在空域进行滤波操作,三频条纹解算出对应相位信息后进行时间相位展开,适用于孤立物体的测量。拍摄记录的每一帧条纹图像均能对应重建一个三维结果,适用于动态场景测量。搭建系统完成了验证实验,结果证实了本研究提出方法和系统的可行性。
测量 动态三维面形测量 傅里叶条纹分析 三频复合光栅 条纹投影 光学学报
2021, 41(23): 2312005
四川大学电子信息学院光电科学技术系, 四川 成都 610065
近年来,客观世界和场景三维信息需求量的陡增,促使结构光三维测量技术快速发展。基于条纹投影和相移条纹分析的三维成像技术具有较好的精度和鲁棒性,在众多的技术方法中脱颖而出,被广泛地应用于工业检测、文物数字化、生物医学检测领域。而在人机交互、虚拟现实、在线检测、远程手术等具有时效性要求的应用场景中,实现实时三维测量具有重要意义和明显价值。首先简要介绍了基于相移条纹分析的三维成像技术基本原理,随后分类讨论了实时三维成像的多种优化实现方向,回顾了各类方向中不同的技术方案。最后,总结了基于相移条纹分析的实时三维成像技术所面临的挑战及有潜力的研究方向。
图像处理 三维成像 条纹投影 结构光照明 相移条纹分析 实时三维重建 激光与光电子学进展
2021, 58(8): 0800001
1 北京信息科技大学信息与通信工程学院, 北京100101
2 北京信息科技大学光电测试技术及仪器教育部重点实验室, 北京 100101
为减小并行相移数字全息重建过程中的插值误差、提高再现图像的质量,提出了一种基于全息图像条纹特性和像素分布的并行相移数字全息条纹分析插值算法。该算法首先根据相移特性从并行相移数字全息图中提取各同相全息图像,将各图像分为3×3的方块区域;按照全息条纹特性对分割的方块区域进行多方向插值,根据多方向插值后的图像频域特性进行选择性合并,生成新的全息再现物场。实验结果表明:与传统并行相移全息插值算法相比,所提算法可将再现图像的峰值信噪比提高45%以上;与其他改进算法相比,所提算法的计算时间缩短为原来的一半左右。所提算法能更好地重建并行相移数字全息图像,减小插值误差,保留细节信息,提高再现图像质量,可用于很多领域的动态三维物场信息的获取,如生物细胞观测、移动物体体检、微观粒子成像和跟踪等领域。
图像处理 条纹分析 插值误差 并行相移 数字全息 激光与光电子学进展
2020, 57(16): 161007
