宽视场偏振调制成像的变指数正则化重构方法 下载: 1308次
1 引言
宽视场亚波长纳米粒子特征的检测和高分辨率可视化在成像和光谱学领域有着广泛的应用[1-5],也给有效的成像观测技术带来了新的挑战。传统的显微成像[6-13]一般采用探针点扫描的方式获取待测目标的近场倏逝波信息,以实现突破衍射极限的超分辨成像。但这类方法的视场窄、扫描速度慢、输出图像帧间延迟大,因此只适用于静态场景成像,无法实现宽视场快速成像。
随着计算成像[14-15]技术的发展,通过光场调制的方式实现宽视场高分辨率快速成像[16-17]已成为可能。这类方法又称“非直观成像”[18-20],即不采用点扫描而通过对成像光路入射光的偏振态、波矢方向、波面相位等表征光波矢量状态的参数进行调制,对于采集的图像序列,根据麦克斯韦方程求解出近场光波参数变化信息,反演重建出远场超分辨图像。如巨海娟等[21]提出了一种基于Stokes矢量方法的分孔径全偏振态同时探测的实时彩色偏振成像系统,提升了探测视场和分辨率。刘震等[22]提出了一种空间调制型全偏振成像系统,通过计算不同偏振角下的Stokes参数来优化测量精度。Ullah等[18]提出了一种针对氧化亚铜粒子的参数化非直观显微成像算法,通过最小二乘拟合偏振参数,突破了衍射极限,提升了分辨率。
然而,光学系统退化、离散成像器件欠采样效应,以及由于光的偏振态的波阵面和样本介质分布各向异性的波阵面耦合的矢量和进行相位拟合与滤波而导致的拟合误差,都会对重建结果的分辨率有影响[19-20,23-25]。将多降晰因素耦合的结果表征在成像系统退化的点扩展函数(PSF)上,呈现出复杂的特性(也有文献认为可以近似看作一个带噪声的高斯退化模型[12]),通过降晰图像来精确估计PSF是保证图像重建质量的前提[26-27]。正则化方法是解决图像重建问题求解中的病态性的最有效的方法之一[28]。典型的退化模型常采用全变分(TV)正则化[13]或Tikhonov正则化[23]求解:前者能够平滑PSF的平坦区域,但保边性不好;后者能对PSF边缘进行强化,但在平坦区域会形成“阶梯效应”[29]。由此,本文提出了一种基于变指数正则化[30]的自适应PSF估计方法,构建了适用于不同偏振角下PSF估计的Lp(x)变指数正则化模型,能根据图像的特点自适应确定范数p(x)的值,从而有效抑制传统TV正则化和Tikhonov正则化的缺点,使PSF的估计和重建更加灵活有效,也保证了图像重建的质量和噪声鲁棒性。在退化的先验知识已知的情况下,本课题组[30]将清晰遥感图像与其他方法进行了比对,证明了本文使用的变指数正则化方法更有效。
2 基本原理
2.1 实验光路
宽视场偏振调制成像系统使用的光路如
图 1. 宽视场偏振调制成像系统的实验光路
Fig. 1. Experimental optical path of wide-field polarization-modulated imaging system
2.2 偏振调制成像Stokes分量反演
在偏振调制过程中,CCD所感知到的光强取决于不同偏振角(即慢轴的偏振方向与水平坐标轴的夹角)下线偏光的偏振态和样本介质分布各向异性的两个波阵面耦合形成的矢量和,可表示为
式中:I0为无偏光强;α为入射角;φ为偏振角;δ为偏振相位差(即x轴和y轴方向上的相位差)。
对(1)式进行三角函数展开,可以得到
将(2)式改成α的函数,则每次调制的光强Ii可表示为
式中:
偏振调制是将旋转偏振片以每次
式中:αi是不同偏振角下线偏光的入射偏振角,i表示同一序列中的图像序号;
式中:Idp为所有样本偏振光强的均值。
根据(6)式,可以利用Jones模型与Muller模型之间的相互关系计算出Stokes参数,可表示为
式中:E0x和E0y分别为电场分量在x和y方向上的振幅。
2.3 偏振调制成像PSF模型
偏振调制成像系统在生成图像时对图像的降晰因素主要有不同偏振角对PSF的影响、入射光偏振角相位拟合误差、图像序列至单幅图像的多光谱融合、成像光路衍射能量弥散、CCD欠采样效应等,如
图 2. 偏振调制成像阶段获得的PSF模型
Fig. 2. Model of PSF obtained during polarization-modulated imaging stage
对于在非相干照明下的衍射受限离散成像系统,从文献[ 31]可以看出,在光路中只有一个主透镜的情况下,其调制传递函数(MTF)XMTFimg主要取决于光学系统的XMTFopt与CCD离散采样的XMTFCCD。因此本文将光学系统看作一个整体,提出退化模型,即
式中:f为空间频率(lp/mm);f/fmax为归一化空间频率,这里fmax为光学系统的空间截止频率,fmax=
文献[ 18]分析了偏振调制阶段的降晰模型,其调制传递函数可近似视为高斯模型,即
式中:P2表示拟合后的图像;P1表示拟合前的图像;n表示图像序列中的图像总数。
整个偏振调制成像系统的PSF为
式中:F-1表示傅里叶逆变换。
由此可知,根据偏振调制成像多降晰因素形成的PSF形式相当复杂。文献[ 12]认为,多降晰因素共同耦合而导致的图像退化表征在PSF上可以近似看作一个带噪声的高斯退化模型,需要通过降晰图像来精确估计PSF以提高图像重建质量。正则化方法是解决图像重建问题求解中病态性的最有效的方法之一。为了优化估计的过程参数,本文提出了变指数正则化的方法来精确估计PSF和实现估计的自适应性,旨在进一步提升偏振调制成像阶段的图像重建质量。
2.4 变指数正则化模型
根据线性系统理论,光电成像系统的降晰模型可以表示为
式中:u、k、f、n分别表示降晰图像、降晰的PSF、未知清晰图像、加性噪声。利用降晰图像估计PSF是一个典型的病态问题,为了保证有解,而且考虑到PSF形态较为复杂,本文提出了一种变指数正则化项,表达式为
式中:k为降晰的PSF;c表示未降晰的真实PSF;|Ñk|=
式中:t为一个控制曲线下降速率的阈值,当t较大时,正则化方式以TV正则化为主,而当t较小时,Tikhonov正则化起主导作用;s则用以区分边缘区域和平坦区域。当在边缘区域时,s较大,p(s)趋近于1;当在平坦区域时,s较小,p(s)趋向于2。变指数正则化方法通过控制指数项p(s)的变化,自适应地重构图像。可见,变指数正则化方法充分结合了Tikhonov正则化和TV正则化的优势,构成的代价函数为
式中:k≥0,
考虑到J(f,k)中的L2范数,可将此问题看作一个凸优化问题。对于(14)式的求解,可以采用Split-Bregman算法[32-33]来迭代优化,转化为求解
式中:b1=Ñk,b2=Ñf,|b|=
根据Split-Bregman算法,(15)式的优化迭代方式为
式中:
首先固定b1,t1,f,对于k的子问题,利用变分原理可得
式中:F(i)为基于f的分块循环矩阵。
当k满足(18)式时,迭代结束。
式中:T,Δ,div表示共轭变换、拉普拉斯变换和散度变换。
然后固定k(i+1),t1,f,对于b1的子问题,利用变分原理可得
根据Euler-Lagrangian算法可得
令b1=(b11,b12),t1=(t11,t12),(20)式可转化为
式中:
由于(22)式不易求解,本文采用牛顿法优化求解,即
然后更新t1,可得
最后,固定b1,t1,k,计算b2,t2,f。
在获取PSF以后,根据快速傅里叶变换可以重构出高分辨率图像,表示为
式中:u'的实部即重建出的图像;F为傅里叶变换。
3 实验结果与分析
3.1 偏振调制成像参数反演结果
对硅衬底上的硅粒子介质进行偏振调制,会形成19张偏振角等间隔的图像序列,如
将偏振参数成像与时域有限差分法(FDTD)仿真所得的结果进行对比,如
图 4. 原图与偏振成像图对比。(a)原图;(b) sin δ成像图;(c) φ成像图
Fig. 4. Comparison of original and polarimetric images. (a) Original image; (b) sin δ image; (c) φ image
图 5. 原图与偏振成像图对比。(a)(d) 原图;(b)(e) sin δ成像图;(c)(f) φ成像图
Fig. 5. Comparison of original and polarimetric images. (a)(d) Original images; (b)(e) sin δ images; (c)(f) φ images
图 6. 偏振成像图与FDTD仿真图对比。(a) sin δ成像图;(b) φ成像图;(c)仿真sin δ成像图;(d)仿真φ成像图
Fig. 6. Comparison of polarimetric and FDTD-simulated images. (a) sin δ image; (b) φ image; (c) simulated sin δ image; (d) simulated φ image
根据瑞利判据,本文所采用的实验光路入射光波长为532 nm、数值孔径为0.9,其衍射极限为591 nm,半峰全宽为1530 nm。本文的重构算法在[55,65]的像素DN值范围内两个波谷的半峰全宽为48 nm和94 nm,已突破了衍射极限。
图 7. 粒子沿切线方向的光强剖面图。(a)原图;(b)偏振成像图;(c)原图所有像素点光强变化曲线;(d)偏振成像图所有像素点光强变化曲线;(e)原图粒子光强变化曲线;(f)偏振成像图粒子光强变化曲线
Fig. 7. Light-intensity profiles of particle along tangent direction. (a) Original image; (b) polarimetric image; (c) light-intensity change of all pixel points in origin image; (d) light-intensity change of all pixel points in polarimetric image; (e) light-intensity change of particle pixel points in origin image; (f) light-intensity change of particle pixel points in polarimetric image
同时也计算了Stokes参数,FDTD仿真结果也验证了该系统对待测样本散射场的映射能力。从
3.2 偏振调制成像PSF参数估计结果
利用本文所提出的PSF估计结果重建得到优化后的图像,如
图 8. Stokes参数图像。(a)~(d)参数 S0、S1、S2、S3的图像;(e)~(h)从参数S0、S1、S2、S3图像中相同位置提取的一个粒子;(i)~(l) FDTD仿真的参数S0、S1、S2、S3图像
Fig. 8. Images of Stokes parameters. (a)--(d) Images of S0, S1, S2, and S3 parameters; (e)--(h) one particle extracted from images of S0, S1, S2, and S3 parameters at same place; (i)--(l) images of S0, S1, S2, and S3 parameters obtained from FDTD simulations
图 9. 偏振调制成像结果的PSF。(a)~(c)未优化的待测样本成像图、sin δ成像图和φ成像图的PSF模型;(d)~(f)优化后的原图、sin δ成像图、φ成像图的PSF模型
Fig. 9. PSF models of polarization-modulated imaging results. (a)--(c) Non-optimized PSF models of original image of sample to be tested, sin δ image, and φ image; (d)--(f) optimized PSF models of original image, sin δ image, and φ image
图 10. 利用所提方法对sin δ成像图进行重建的效果比较。(a)(d)(f) sin δ成像图原图;(b)(e)(g)本文算法优化结果;(c)图10 (a)和(b)图像差值
Fig. 10. Comparison of reconstruction effects of sin δ images by proposed method. (a)(d)(f) Original sin δ images; (b)(e)(g) optimized results by proposed method; (c) image difference between Fig. 10 (a) and Fig. 10 (b)
图 11. 本文算法对φ成像图进行优化的成像效果比较。(a)(d)(f) φ成像图原图;(b)(e)(g)变指数优化结果;(c)图11 (a)和(b)图像差值
Fig. 11. Comparison of reconstruction effects of φ images by proposed method. (a)(d)(f) Original φ images; (b)(e)(g) results of variable exponential optimization; (c) image difference between Fig. 11 (a) and Fig. 11 (b)
图 12. 本文算法、TV正则化和Tikhonov正则化的成像效果比较
Fig. 12. Comparison of imaging effects among proposed method, TV regularization, and Tikhonov regularization
表 1. 通过三种算法优化所得图像的客观评价指标
Table 1. Objectiveevaluation indexes of sin δ and φ images optimized by three methods
|
图 13. 聚苯乙烯球偏振调制成像结果的PSF模型。(a)未优化的待测样本sin δ成像图PSF模型;(b)未优化的待测样本φ成像图PSF模型;(c)优化后的sin δ成像图PSF模型;(d)优化后的φ成像图PSF模型
Fig. 13. PSF models of polarization-modulated imaging results of polyethylene spheres. (a) PSF model of non-optimized sin δ image of sample to be tested; (b) PSF model of non-optimized φ image of sample to be tested; (c) PSF model of optimized sin δ image; (d) PSF model of optimized φ image
图 14. 利用所提方法对sin δ成像图重建的效果。(a)(c)(e) sin δ成像图原图;(b)(d)(f)本文算法优化结果
Fig. 14. Reconstruction effects of sin δ image by proposed method. (a)(c)(e) Original sin δ image; (b)(d)(f) optimized results by proposed method
图 15. 利用所提方法对φ成像图重建的效果。(a)(c)(e) φ成像图原图;(b)(d)(f)本文算法优化结果
Fig. 15. Reconstruction effects of φ image by proposed method. (a)(c)(e) Original φ images; (b)(d)(f) optimized results by proposed method
本文算法也在聚苯乙烯球成像上进行了验证。
图 16. 本文算法和TV正则化、Tikhonov正则化的成像效果比较
Fig. 16. Comparison of imaging effects among proposed method, TV regularization, and Tikhonov regularization
表 2. 通过三种算法优化所得图像的客观评价指标
Table 2. Objectiveevaluation indexes of sin δ and φ images optimized by three methods
|
4 结论
偏振调制成像是实现宽视场亚波长纳米粒子显微成像的重要手段。通过对成像光路入射光的偏振态进行调制,将调制后的光入射到各向异性的待测样本介质,采集的图像经过偏振角调制曲线的滤波和拟合,可以反演出反映样本近场纳米尺度特性的偏振参数图像序列,继而重建出突破光学衍射极限的图像。本文提出了一种基于变指数正则化的多降晰因素影响的成像系统PSF估计方法,有效抑制了传统TV正则化的阶梯效应和Tikhonov正则化保边性差的缺点。对硅晶胞和聚苯乙烯球的成像结果表明,与传统方法相比,本文提出的PSF估计方法能在保证重构图像质量的同时,有效提升图像分辨率,且噪声鲁棒性更好。
[1] 刘玉佳, 辛杰萍, 万玲玉, 等. 宽视场高增益亚波长结构集光天线的优化设计[J]. 激光技术, 2017, 41(1): 34-39.
[2] 程伟宁. 宽谱段宽视场星敏感器光学系统设计[D]. 哈尔滨: 哈尔滨工业大学, 2009: 1- 6.
Cheng WN. Optical system design of a star sensor with wide spectrum and wide field of view[D]. Harbin: Harbin Institute of Technology, 2009: 1- 6.
[3] 陈伟, 郑玉权, 薛庆生. 机载宽视场大相对孔径成像光谱仪[J]. 光学精密工程, 2015, 23(1): 15-21.
[4] 余慕欣, 周文超, 周松, 等. 基于金属光栅近场衍射增强的结构光照明技术[J]. 光学学报, 2018, 38(3): 0318001.
[5] 劳保强, 安涛, 陈骁, 等. 低频射电望远镜阵列宽视场成像技术研究[J]. 天文学报, 2017, 58(5): 110-131.
Lao B Q, An T, Chen X, et al. Research on wide-field imaging technologies for low-frequency radio array[J]. Acta Astronomica Sinica, 2017, 58(5): 110-131.
[6] 陈子粤, 吕丽军. 鱼眼镜头后光组初值设计[J]. 光学仪器, 2018, 40(6): 54-60.
[7] 吕丽军, 吴学伟. 鱼眼镜头初始结构的设计[J]. 光学学报, 2017, 37(2): 0208001.
[8] 何煦, 李成浩, 张晓辉, 等. 大口径空间天文望远镜稳像精度测试技术研究[ C]∥第十七届全国光学测试学术交流会论文集. 北京: 中国光学学会, 2018: 112.
HeX, Li CH, Zhang XH, et al. Research on precision measurement of image stabilization by space telescope with large orifice diameter[ C]∥The 17th national optometry examination and learning exchange meeting. Beijing: Chinese Optical Society, 2018: 112.
[9] 胡超. ONSET高分辨图像重建拼接方法研究[D]. 昆明: 昆明理工大学, 2018: 11- 20.
HuC. Research on high-resolution image reconstruction splicing method of ONSET[D]. Kunming: Kunming Institute of Technology, 2018: 11- 20.
[10] Gaietta G, Deerinck T J, Adams S R, et al. Multicolor and electron microscopic imaging of connexin trafficking[J]. Science, 2002, 296(5567): 503-507.
[11] Masters B R. So P T C. Multi-photon excitation microscopy and confocal microscopy imaging of in vivo human skin: a comparison[J]. Microscopy and Microanalysis, 1999, 5(4): 282-289.
[12] 邹谋炎. 反卷积和信号复原[M]. 北京: 国防工业出版社, 2001: 189- 194.
Zou MY. Deconvolution and signal recovery[M]. Beijing: National Defense Industry Press, 2001: 189- 194.
[13] Allag A, Drai R, Benammar A, et al. X-rays tomographic reconstruction images using proximal methods based on L1 norm and TV regularization[J]. Procedia Computer Science, 2018, 127: 236-245.
[14] 孙崇尚, 丁亚林, 王德江. 基于计算成像的宽视场高分辨相机研究进展[J]. 激光与光电子学进展, 2013, 50(3): 030006.
[15] 吕洋, 宁禹, 马浩统, 等. 计算光场自适应光学成像技术研究[J]. 光电工程, 2018, 45(3): 180075.
[16] Lange M, Guénon S, Lever F, et al. A high-resolution combined scanning laser and widefield polarizing microscope for imaging at temperatures from 4 K to 300 K[J]. Review of Scientific Instruments, 2017, 88(12): 123705.
[17] DumripatanachodM, PiyawattanamethaW. Wide-field high-resolution fiber bundle based endomicroscope for cervical epithelium cells imaging[C]∥2016 9th Biomedical Engineering International Conference (BMEiCON), December 7-9, 2016, Laung Prabang, Laos. New York: IEEE, 2016: 16706354.
[18] Ullah K, Liu X, Habib M, et al. Subwavelength far field imaging of nanoparticles with parametric indirect microscopic imaging[J]. ACS Photonics, 2018, 5(4): 1388-1397.
[19] 刘国彦. 基于偏振调制的非直观显微成像远场反演理论与方法研究[D]. 北京: 北京理工大学, 2016: 24- 39.
Liu GY. Far field inversion theory and method for indirect microscopic imaging based on polarization-modulated[D]. Beijing: Beijing Institute of Technology, 2016: 24- 39.
[20] Ullah K, Liu X, Yadav N P, et al. Light scattering by subwavelength Cu2O particles[J]. Nanotechnology, 2017, 28(13): 134002.
[21] 巨海娟, 梁健, 张文飞, 等. 全偏振态同时探测实时彩色偏振成像技术[J]. 红外与毫米波学报, 2017, 36(6): 744-748.
[22] 刘震, 洪津, 龚冠源, 等. 空间调制型全偏振成像系统的角度误差优化[J]. 红外与激光工程, 2017, 46(1): 0117003.
[23] Ma Y, Li C, Li H, et al. Hyperspectral image classification with discriminative kernel collaborative representation and Tikhonov regularization[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(4): 587-591.
[24] 扎西巴毛, 范伟如, 胡显声, 等. 多模光纤散斑场的纵向偏振调控[J]. 光学学报, 2019, 39(1): 0126018.
[25] Azinfar L, Ravanfar M, Wang Y, et al. High resolution imaging of the fibrous microstructure in bovine common carotid artery using optical polarization tractography[J]. Journal of Biophotonics, 2017, 10(2): 231-241.
[26] Lü Z, Jia Y, Zhang Q. Joint image registration and point spread function estimation for the super-resolution of satellite images[J]. Signal Processing: Image Communication, 2017, 58: 199-211.
[27] SenshikiH, MotohashiS, GotoT, et al. PSF estimation using total variation regularization and shock filter for blind deconvolution[C]∥2017 IEEE International Conference on Consumer Electronics (ICCE), January 8-10, 2017, Las Vegas, NV, USA. New York: IEEE, 2017: 16777509.
[28] Czajkowski K M, Pastuszczak A, Kotyński R. Real-time single-pixel video imaging with Fourier domain regularization[J]. Optics Express, 2018, 26(16): 20009-20022.
[29] LefkimmiatisS, BourquardA, UnserM. Hessian-based regularization for 3-D microscopy image restoration[C]∥2012 9th IEEE International Symposium on Biomedical Imaging (ISBI), May 2-5, 2012, Barcelona, Spain. New York: IEEE, 2012: 1731- 1734.
[30] Gao K, Zhu Z, Dou Z, et al. Variable exponent regularization approach for blur kernel estimation of remote sensing image blind restoration[J]. IEEE Access, 2018, 6: 4352-4374.
[31] Stefaniuk M, Gualda E J, Pawlowska M, et al. Light-sheet microscopy imaging of a whole cleared rat brain with Thy1-GFP transgene[J]. Scientific Reports, 2016, 6: 28209.
[32] Li F. Abascal J F P J, Desco M, et al. Total variation regularization with split Bregman-based method in magnetic induction tomography using experimental data[J]. IEEE Sensors Journal, 2017, 17(4): 976-985.
[33] Chen L, Zheng Z W, Bao L J, et al. Weighted total variation using split Bregman fast quantitative susceptibility mapping reconstruction method[J]. Chinese Physics B, 2018, 27(8): 088701.
Article Outline
吴穹, 高昆, 张震洲, 豆泽阳, 刘卫平, 熊吉川. 宽视场偏振调制成像的变指数正则化重构方法[J]. 光学学报, 2020, 40(1): 0111025. Qiong Wu, Kun Gan, Zhenzhou Zhang, Zeyang Dou, Weiping Liu, Jichuan Xiong. Reconstruction of Variable Exponential Regularization for Wide-Field Polarization-Modulated Imaging[J]. Acta Optica Sinica, 2020, 40(1): 0111025.