基于三维卷积神经网络的彩色傅里叶叠层显微术

张慕阳; 梁艳梅

doi:doi:10.3788/AOS202040.2011001

光学学报, 2020, 40 (20): 2011001, 网络出版: 2020-09-19

基于三维卷积神经网络的彩色傅里叶叠层显微术下载： 1243次

Color Fourier Ptychography Microscopy Using Three-Dimensional Convolutional Neural Network

论文大纲

张慕阳梁艳梅 ^*

作者单位

南开大学现代光学研究所, 天津 300350

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

包含多波长信息的低分辨(LR)灰度图难以被完全解复用,根据LR图像信息重建出的彩色高分辨(HR)图像容易出现通道串扰的现象。为重建不受通道串扰干扰的彩色HR图像,提出一种基于三维卷积神经网络(CNN)的彩色HR图像重建算法。采用主成分分析法提取单色HR图像和彩色LR图像的结构信息,然后基于结构信息训练CNN来建立单色HR图像和彩色LR图像之间的映射关系,最后生成彩色HR图像。实验结果表明,所提算法可以获得不受通道串扰影响、色彩不失真的彩色HR图像。定量评价指标方均根误差小于0.1,结构相似性参数大于0.9。

Abstract

Low-resolution (LR) grayscale images with multi-wavelength information are difficult to fully demultiplex. High-resolution (HR) colored images reconstructed from LR images are prone to channel crosstalk. To reconstruct HR colored images that are not prone to channel crosstalk, we propose an HR colored image reconstruction algorithm based on a three-dimensional convolutional neural network (CNN). The principal component analysis method is used to extract structural information from HR monochromatic images and LR colored images, and then the CNN is trained based on the structural information to establish a mapping relationship between the HR monochromatic image and LR colored image. Consequently, a HR colored image is generated. The experimental results show that the proposed algorithm can obtain HR colored images without channel crosstalk and color distortion. The quantitative evaluation indexs show that the root mean square error and structural similarity parameter are less than 0.1 and greater than 0.9, respectively.

1 引言

傅里叶叠层显微术(FPM)是一种为了解决高分辨和大视场矛盾而提出的计算成像技术^[1-6]。该技术将显微镜的照明光源替换为可编程控制的发光二极管(LED)阵列,透射式明场显微镜系统即可被改造为FPM系统。在具体成像过程中,样品被LED阵列中的单元以预先设定好的顺序和模式照亮,相机采集一系列低数值孔径(NA)透镜下的低分辨(LR)大视场图像,然后利用迭代恢复算法处理这些LR图像序列,最后重建出高分辨(HR)大视场图像^[7-13]。FPM可使得重建的图像在保证大视场的同时拥有超越成像显微物镜自身分辨极限的高分辨率。FPM在医学影像^[10,14]、光子晶体成像^[15]、图像加密^[16]等方面具有潜在的应用价值,为此,自2013年FPM被提出以来,研究者在改善FPM图像重建质量^[8,17-18]、优化采集速度和图像重建速度^[19-21]、抑制噪声^[22-23]等方面开展了大量研究,以此来完善FPM的成像质量和成像速度。

FPM最初主要集中于开发和优化单色FPM。相比于灰度图像,彩色图像蕴含了更丰富的信息,在如病理学和临床诊断中彩色信息被广泛应用。目前彩色FPM主要通过变更成像设备(用彩色相机替换单色相机)^[24]或者修改图像的重建算法^[25-27]来获得彩色HR图像。Zhou等^[24]使用彩色相机获取彩色LR图像,并利用这些彩色LR图像重建彩色HR图像。然而相较于具有相同感光面积、相同像元尺寸的单色相机,彩色相机的像素数存在先天的劣势,重建图像的分辨率也往往相对比较低。Dong等^[25]于2014年提出频谱复用FPM,在此技术中,红(R)、绿(G)、蓝(B)三色光同时照明样品,强度叠加形成的灰度LR图像被单色相机采集,直径不同的三个同心圆被恢复程序设定为RGB三通道的相干传递函数(CTF),用于实现LR图像的频谱信息解复用。然而三个CTF之间存在相互重叠的频谱区域,导致彩色HR图像容易出现通道串扰的现象,从而降低了最终的重建质量。Wang等^[26]提出一种新的信息解复用技术,期望从灰度图像中重建出不受通道串扰影响的彩色图像,但显微物镜常常存在的残留色差和研究人员非主观的不准对焦会干扰信息解复用结果,导致完全彻底的信息解复用难以实现。Zhang等^[27]则使用多分辨率小波变换的方法对单色HR图像与彩色LR图像进行分解,再将分解后的信息线性组合得到彩色HR图像。在该方法中,LR图像分解出的信息需要经过上采样再与HR图像分解出的信息相加,这可能使错误的伪信息被引入到重建结果中。

卷积神经网络(CNN)近年来发展迅速,已经在医学图像识别^[28-30]、遥感信息处理^[31-33]及语音识别^[34-35]等领域得到广泛应用。以CNN为代表的不同的深度学习方法也在FPM中被用于提升重建速度^[36-38]、优化视频重建^[39]和联合参数^[40]等。

本文设计了一种用于重建彩色HR图像的基于三维CNN的彩色融合算法。该算法利用单色相机采集一组单通道LR图像序列和三幅中心不同通道的LR图像。在软件算法上,单通道LR图像序列被用于重建单色HR图像,中心不同通道的LR图像用于合成彩色LR图像。主成分分析(PCA)方法被用来分解单色HR图像和彩色LR图像,分解的结果被用来训练一个包含两层卷积的CNN,使CNN学习两幅图像间的映射关系。训练好的网络最终被用于预测彩色HR图像。所提算法的网络结构简单、计算速度快,并且可以与基于人工神经网络的恢复算法相结合以进一步提升计算速度。

2 方法

对于任意一幅图像,单色HR图像与彩色LR图像之间具有相同的结构信息,因此,要建立训练样本首先需要提取两类图像之间的结构信息。PCA方法是一种简单并且行之有效的图像信息提取策略,它能保留主要信息、减少数据量,因而常常被用于图像信息的降维中^[41]。

图1为所提算法的总流程图,其中实心箭头和实心箭头所指框中的内容分别表示生成训练集和训练CNN部分,渐变箭头和渐变箭头所指框中的内容表示利用已训练好的CNN计算最终的彩色HR图像部分。在训练部分,单色LR图像序列和RGB三通道的LR图像首先被采集到计算机中。其中, $I_{c}^{HR}$ 为FPM算法利用单色LR图像序列重建得到的维度为M×N的单色HR图像,c可以为R,G,B中的任何一个通道; $I_{RGB}^{LR}$ 是维度为m×n×3的彩色LR图像,m和n分别为相机采集到的LR图像在横和纵方向上的像素数;M和N分别为分辨率提升后在横和纵方向上的像素数,且分辨率提升倍数p满足p=M/m=N/n。根据奇异值分解算法^[41-42],有

I_{RGB}^{LR} = VD U^{T} = G U^{T}, (1)

式中:V为左奇异向量组成的矩阵;D为奇异值组成的矩阵;G包含图像的结构信息,且其维度为m×n×3;U^T为右奇异向量组成的矩阵,维度为3×3。为建立CNN训练集的输入与输出,首先抽取出G的第一列并对其进行重塑得到G',其维度为m×n;之后进一步对G'连续执行下采样和上采样操作,得到与G'维度相同但分辨率降为1/p的G'_p; $I_{c}^{HR}$ 同样被执行分辨率降为1/p的下采样操作,得到与G'维度相同的 $I_{c, p}^{HR}$ ;最后,在第三个维度上对 $I_{c, p}^{HR}$ 与G'_p进行串联,得到 $X = [I_{c, p}^{HR}, G'_{p}],$ 其维度为m×n×2。

待CNN训练完成之后,图1渐变箭头部分给出了获取彩色HR图像的流程图。其中, $\tilde{G}$ '为G'经过上采样后获得的结果且维度与 $I_{c}^{HR}$ 相同, $\tilde{X}$ 为 $I_{c}^{HR}$ 与 $\tilde{G}$ '在第三维度上串联之后的结果, ${\tilde{G}}^{HR}$ 为 $\tilde{X}$ 经CNN预测后得到的输出结果, ${\tilde{G}}^{oth}$ 为G的第二、第三列经上采样后得到的结果,G^HR为 ${\tilde{G}}^{HR}$ 与 ${\tilde{G}}^{oth}$ 组合后得到的结果。最终,经过奇异值分解的逆运算,得到彩色HR图像 $I_{RGB}^{HR}$ 。

值得注意的是,本文利用CNN建立起LR图像和HR图像之间的结构信息的映射关系,而非局部像素到局部像素的映射关系,所以使用横、纵向维度较小的子数据块训练出的CNN同样可用于一次性的全图预测。因此选择了一种分割获得大量子数据块的训练集增大策略:对X和G'分别划分出大量空间位置对应的尺寸为s×s×2和s×s的子数据块,并由子数据块构成新的集合X和G'。同样,根据CNN不受尺寸干扰的特性,新的X中的不同数据块之间允许存在重叠部分。最后需要指出的是,所有子数据块的并集应当完全覆盖初始的X,从而所有的结构信息都可被CNN学习到。

图 1. 基于CNN的彩色FPM算法的流程图

Fig. 1. Flow chart of color FPM algorithm based on CNN

下载图片查看所有图片

图2为所提CNN的结构。其中,input表示输入数据,output表示输出数据。首先三维补零层(0-padding 3D)对输入数据执行补零操作,避免数据块经卷积后数据维度减小,影响后续计算;之后,数据块被含有32个3×3×3卷积核的三维卷积层(Conv 3D)卷积并被线性整流(ReLU)激活层激活,激活结果被一个符合N(0,0.5)分布的高斯噪声(Gaussian noise)层引入随机噪声,用于防止CNN过拟合;紧接着,前述的运算结果被0-padding 3D、Conv 3D、ReLU、高斯噪声层顺次处理;最后,使用仅有1个1×1×1卷积核的三维卷积层对最后一个高斯噪声层的计算结果进行整理并输出。为使搭建的网络能够快速收敛,使用方均误差作为代价函数并利用自适应矩估计方法^[43]作为梯度下降函数,使用的优化参数与文献[ 43]中提到的一致。

图 2. 所提CNN结构

Fig. 2. Structure of proposed CNN

下载图片查看所有图片

3 实验结果

为验证所提算法的有效性,首先进行数值模拟。按照预定的顺序,利用面积足够大且单元足够密集的LED阵列照明样品,可以使LR图像序列包含足够多的样品的频谱信息,根据这样的LR图像序列,重建出的HR图像可以超越单次成像时的分辨率。采用15×15的方形LED阵列作为光源,相邻LED单元之间的距离为4 mm,灯板到样品之间的距离为100 mm。于是,灯板最大能提供约0.37的附加NA。模拟中设定的显微物镜为2×,0.16 NA,相机的像元尺寸为5 μm×5 μm。CNN采用TensorFlow后端的Keras框架搭建,CPU为英特尔i5-7400,主频为3.0 GHz,内存为8 GB,GPU为Nvidia GTX1060移动端6 GB显存版。

数值模拟中,Lena图作为模拟输入,且该图尺寸被缩放到512×512。基于所提CNN的结构和可训练参量的数量,选择7×7作为子数据块的横纵向尺寸。在确保完全覆盖全图的情况下,从全图中随机划分出8192个子数据块作为CNN的训练集。

表 1. 不同算法的RMSE和SSIM

Table 1. RMSE and SSIM of different algorithms

Algorithm	RMSE	SSIM
Three-channel separated FPM	0.0067	0.9926
Spectrum multiplexing FPM^[25]	0.1243	0.9820
Proposed algorithm	0.0389	0.9053

查看所有表

表 3. 不同算法的LR图像数量和采集时间

Table 3. Number of LR images and capturing time of different algorithms

Algorithm	Number ofLR images	Capturingtime /s
Three-channel separated FPM	723	~717
Spectrum multiplexing FPM^[25]	241	~165
Proposed algorithm	243	~217

查看所有表

表 2. 不同算法的RMSE和SSIM

Table 2. RMSE and SSIM of different algorithms

Algorithm	RMSE	SSIM
Three-channel separated FPM	0.0318	0.9482
Spectrum multiplexing FPM^[25]	0.9698	0.0811
Proposed algorithm	0.0789	0.9301

查看所有表

为定量评价所提算法的性能,采用方均根误差(RMSE)和结构相似性(SSIM)作为评价指标。具体的计算公式分别为

\begin{array}{l} R_{MSE} (A_{1}, A_{2}) = \\ \sqrt[]{\frac{1}{mn} \overset{n}{\sum_{x = 1}} \overset{m}{\sum_{y = 1}} [A_{1} (x, y) - A_{2} {(x, y)]}^{2}}, (2) \\ S_{SIM} (A_{1}, A_{2}) = \frac{(2 μ_{1} μ_{2} + c_{1}) (2 σ_{12} + c_{2})}{(μ_{1}^{2} + μ_{2}^{2} + c_{1}) (σ_{1}^{2} + σ_{2}^{2} + c_{2})}, (3) \end{array}

式中:μ₁和μ₂分别为矩阵A₁和A₂的平均值; $σ_{1}^{2}$ 和 $σ_{2}^{2}$ 分别为A₁和A₂的方差;σ₁₂为A₁与A₂的协方差;常数因子c₁= $(k_{1} {L)}^{2}$ 和c₂= $(k_{2} {L)}^{2}$ ,L为A₁和A₂的动态范围,k₁和k₂为常数,一般分别取为0.01和0.03。

图3为使用所提算法、频谱复用FPM算法和分立单通道FPM算法重建的彩色图像。相应的RMSE和SSIM评价指标如表1所示。图3(a)为模拟的原始输入图像,且该图像同时作为RMSE和SSIM的对比基准。图3(b)为彩色LR图像。图3(c)为红色通道重建出的HR图像。图3(d)为所提算法重建的彩色HR图像,其RMSE为0.0389,SSIM为0.9053。图3(e)为使用频谱复用FPM算法^[25]获得的彩色HR图像,其RMSE为0.1243,SSIM为0.9820。图3(f)为RGB三通道分立的FPM算法的彩色重建结果,其RMSE为0.0067,SSIM为0.9926。图3(b)~(f)中右下角的图像为细节放大图。从图3可见,所有方法重建的彩色HR图像都具有比LR图像更高的分辨率。所提算法采集单一通道的LR图像序列和其他两通道的中心LR图像,因此重建结果不存在通道串扰的问题。重建出单色HR图像后,所提算法先抽取图3(b)和图3(c)的主成分,之后用两幅图像的主成分训练CNN,从而建立起单色HR和彩色LR图像之间主成分的映射关系,最后使用CNN预测图3(b)和图3(c)的融合结果,得到图3(d)。从局部放大图中可以看出,图3(d)继承了图3(b)的颜色信息,颜色分布与LR图像色彩保持一致;同时也继承了图3(c)的分辨率信息,睫毛部分的细节清晰可见。频谱复用FPM算法在采集LR图像时只需将每个LED的红绿蓝三通道同时点亮一次,因而需要采集的图像数量比所提算法少2幅,采集效率最高。虽然频谱复用FPM算法的重建结果取得了较好的SSIM值,但严重的色彩偏差导致RMSE值最高以至于难以被广泛应用。RGB三通道分立的FPM算法每次只采集1个LED的1个颜色通道的1幅LR图像,因此通道之间的串扰现象同样得以避免,该算法毫无疑问地同时取得了最优的RMSE值、SSIM值及最好的重建图像效果。但该算法采集效率最低,直观上需要以频谱复用FPM算法3倍的采集数量为代价换取最优的图像效果。所提算法仅比频谱复用FPM算法多2幅图像,在采集图像数增加量有限的同时取得了相对较优的RMSE值,不过受限于色彩融合算法的先天劣势和图3(a)的自身特点,所提算法的结果虽然具有较好的图像细节但仅取得了0.9053的SSIM值。

图 3. 不同算法的彩色重建结果。(a) HR图像;(b)彩色LR图像;(c)红色通道重建的HR图像;(d)所提算法;(e)频谱复用FPM算法^[25];(f)三通道分立的FPM算法

Fig. 3. Color reconstruction results of different algorithms. (a) HR image; (b) color LR image; (c) reconstructed HR image of red channel; (d) proposed algorithm; (e) spectrum multiplexing FPM algorithm^[25]; (f) three-channel separated FPM algorithm

下载图片查看所有图片

图4为基于分辨率板的数值模拟结果。相应的RMSE和SSIM评价指标如表2所示。其中,图4(a)为模拟输入,同时该图也为RMSE与SSIM的计算基准。图4(b)为彩色LR图像。图4(c)为红色通道重建出的HR图像。图4(d)为所提算法重建的彩色HR图像,其RMSE为0.0789,SSIM为0.9301。图4(e)为频谱复用FPM算法获得的彩色HR图像,其RMSE为0.9698,SSIM为0.0811。图4(f)为RGB三通道分立FPM算法的彩色重建结果,其RMSE为0.0318,SSIM为0.9482。显然,RGB三通道分立FPM算法再一次取得了最好的性能指标。频谱复用FPM算法获得的计算结果则出现了严重的偏色,如图4(e)所示,且重建图上出现了许多类似于振铃效应的边缘振荡,于是此算法所获得的RMSE与SSIM评价指标均为最差,这是因为通道串扰引发了不同通道信息的错误分离,进而导致边缘振荡和严重的色彩偏色。相比于图4(e),图3(e)未出现明显的边缘振荡,这是因为Lena图像的结构比较复杂、信息丰富,边缘振荡现象被掩盖,从而在视觉上其边缘振荡不明显。与图3(d)的过程类似,使用图4(b)和图4(c)的主成分训练CNN并利用训练好的网络重建出图4(d)。所提算法的采集数据量比RGB三通道分立FPM算法少约2/3,而获得的彩色图像重建结果,无论是人眼直观感受还是在RMSE、SSIM指标上均与RGB三通道分立FPM算法的结果相接近。实验结果验证了所提算法的有效性,在恢复真彩色HR彩色图像时具有高的实用价值。

图 4. 以分辨率板为输入样品的数值模拟结果。(a)HR图像;(b)彩色LR图像;(c)红色通道重建的HR图像;(d)所提算法;(e)频谱复用FPM算法^[25];(f)三通道分立的FPM算法

Fig. 4. Numerical simulation results of resolution target as input sample. (a) HR image; (b) color LR image; (c) reconstructed HR image of red channel; (d) proposed algorithm; (e) spectrum multiplexing FPM algorithm^[25]; (f) three-channel separated FPM algorithm

下载图片查看所有图片

进一步,开展基于实际系统的HR彩色图像重建的研究。实验中采用的光源为多圈同心圆环组成的LED灯板。除第一圈与第二圈间距为12 mm外,其余各圈间距为10 mm,每圈分别包含的LED数量为1, 8, 12, 16, 24, 32, 40, 48, 60个,LED总数为241个,LED灯板到样品的间距为195 mm。实验中使用的显微物镜为4×,0.13 NA(UPlanFL,奥林巴斯),单色CMOS相机(FLIR FL3-U3-13Y3M)具有4.8 μm×4.8 μm的像元尺寸。实验中使用的样品为大脑切片。表3分别给出了不同算法采集的LR图像数量和相应的图像采集时间。图5为三种算法的实验结果。图5(a)为彩色LR图像。图5(b)为所提算法获得的实验结果,采集的图像数量为243幅,采集时间约为217 s。图5(c)为频谱复用FPM算法获得的实验结果,采集的图像数量为241幅,采集时间约为165 s。图5(d)为RGB三通道分立FPM算法的实验结果,采集的图像数量为723幅,采集时间约为717 s。

图 5. 实验系统的图像重建结果。(a)彩色LR图像;(b)所提算法;(c)频谱复用FPM算法^[25];(d)三通道分立的FPM算法

Fig. 5. Image reconstruction results of experimental system. (a) Color LR image; (b) proposed algorithm; (c) spectrum multiplexing FPM algorithm^[25]; (d) three-channel separated FPM algorithm

下载图片查看所有图片

由于需要保证LR图像之间频谱重叠率和使用的灯板的灯间距较大,将灯板放置在距样品较远的位置上,所以单个LED的光能利用效率较低,图像采集时间较长。但本文重点在于对比三种方法之间的性能,因此研究三种方法之间图像采集时间的相对变化值更有意义。理论上,频谱复用FPM算法同时点亮每个LED的全部三个通道,每幅LR图像接收到的光强相当于RGB三通道分立FPM算法中每幅LR图像光强的3倍,图像总采集时间应比所提算法的总采集时间大幅减少,但实际结果并未体现出这一点。这是因为LR图像实际消耗的曝光时间占总采集时间的比例较小,而硬件通信和缓存时间占总采集时间的比例较大。频谱复用FPM算法的重建结果出现了严重的通道串扰与色彩偏差,重建图像质量较差,如图5(c)所示。RGB三通道分立FPM算法和所提算法的单幅LR图像曝光和存储时间一致,但RGB三通道分立FPM算法需要单独采集每个通道的全部LR图像序列,时间消耗最大。所提算法在消耗RGB三通道分立FPM算法采集时间的30%、图像采集数量减少2/3的基础上获得了与RGB三通道分立FPM算法基本一致的重建图像的彩色效果和清晰度。

4 讨论

相比于单色FPM,彩色FPM成像时希望在不降低分辨率和不大幅增加采样时间的情况下,解决颜色失真的问题。为了避免重建的彩色HR图像的通道串扰,在单色FPM基础上,提出一种基于三维CNN的彩色融合算法来实现彩色HR成像。相比于传统的反向传播人工神经网络,CNN通过大量使用卷积核卷积的方法来实现更强的非线性拟合能力,利用CNN的这一优势逼近单色HR图像与彩色LR图像的主成分之间未知的映射关系。由实验结果和评价指标可见,所提算法在几乎不增加图像采集时间的前提下,获得了与单色FPM一样的分辨率,消除了颜色通道串扰问题,正确地恢复出了图像的色彩,这表明CNN可有效地拟合主成分之间未知的映射关系。

考虑到所提算法重建结果的SSIM指标波动较大,未来的工作应着眼于改进网络结构以提升SSIM指标稳定性,增强算法的泛化能力,此外还可以考虑与单色HR图像重建过程融合,以进一步提高整体算法的重建速度。

值得注意的是,所提算法虽然可以恢复出不受通道串扰影响的彩色HR图像,但在真实实验中,显微物镜的残留像差与相机的噪声仍旧会干扰采集的彩色LR图像。由于只采集了一个颜色通道下的LR图像序列,其他两个通道由于相机引入的干扰因素无法被排除,它们最终会影响重建的彩色HR图像的质量。可以预先标定RGB三通道的CTF并建立相机的噪声模型来提升算法的鲁棒性,以进一步提高彩色HR图像的重建质量。

5 结论

利用单色FPM硬件系统,基于三维卷积神经网络和主成分分析相组合的深度学习算法来重建彩色高分辨图像。该算法首先使用主成分分析计算出的单色高分辨图像与彩色低分辨图像的结构信息来训练三维卷积神经网络,之后依靠训练后的三维卷积神经网络生成彩色高分辨图像。模拟结果表明,所提算法可以有效地重建出不受通道串扰现象干扰的、色彩还原度高的彩色高分辨图像。相比于RGB三通道分立FPM算法,所提算法可以在减少约2/3的低分辨图像采集时间的基础上,获得与三通道分立FPM算法相近的RMSE、SSIM指标。

参考文献

[1] Zheng G A, Horstmeyer R, Yang C. Wide-field, high-resolution Fourier ptychographic microscopy[J]. Nature Photonics, 2013, 7(9): 739-745.

[2] Zheng G A. Breakthroughs in photonics 2013: Fourier ptychographic imaging[J]. IEEE Photonics Journal, 2014, 6(2): 0701207.

[3] Ou X Z, Horstmeyer R, Zheng G A, et al. High numerical aperture Fourier ptychography: principle, implementation and characterization[J]. Optics Express, 2015, 23(3): 3472-3491.

[4] Liu Q L, Fang Y, Zhou R J, et al. Surface wave illumination Fourier ptychographic microscopy[J]. Optics Letters, 2016, 41(22): 5373-5376.

[5] Sun J S, Zuo C, Zhang L, et al. Resolution-enhanced Fourier ptychographic microscopy based on high-numerical-aperture illuminations[J]. Scientific Reports, 2017, 7(1): 1187.

[6] Skinner-Ramos S, Farooq H, Bernussi A A, et al. Fourier plane imaging and illumination-direction-multiplexing using a rotating diffracting element for Fourier ptychographic microscopy[J]. Optics Communications, 2018, 427: 231-237.

[7] Li Z H, Zhang J Q, Wang X R, et al. High resolution integral holography using Fourier ptychographic approach[J]. Optics Express, 2014, 22(26): 31935-31947.

[8] Ou X Z, Zheng G A, Yang C. Embedded pupil function recovery for Fourier ptychographic microscopy[J]. Optics Express, 2014, 22(5): 4960-4972.

[9] Tian L, Li X, Ramchandran K, et al. Multiplexed coded illumination for Fourier ptychography with an LED array microscope[J]. Biomedical Optics Express, 2014, 5(7): 2376-2389.

[10] Chung J, Ou X Z, Kulkarni R P, et al. Counting white blood cells from a blood smear using Fourier ptychographic microscopy[J]. PLoS One, 2015, 10(7): e0133489.

[11] Dong S Y, Liao J, Guo K K, et al. Resolution doubling with a reduced number of image acquisitions[J]. Biomedical Optics Express, 2015, 6(8): 2946-2952.

[12] Zhang Y B, Cui Z, Zhang J, et al. Group-based sparse representation for Fourier ptychography microscopy[J]. Optics Communications, 2017, 404: 55-61.

[13] Song P M, Jiang S W, Zhang H, et al. Full-field Fourier ptychography (FFP): spatially varying pupil modeling and its application for rapid field-dependent aberration metrology[J]. APL Photonics, 2019, 4(5): 050802.

[14] Horstmeyer R, Ou X Z, Zheng G A, et al. Digital pathology with Fourier ptychography[J]. Computerized Medical Imaging and Graphics, 2015, 42: 38-43.

[15] Alotaibi M, Skinner-Ramos S, Farooq H, et al. Imaging photonic crystals using hemispherical digital condensers and phase-recovery techniques[J]. Applied Optics, 2018, 57(14): 3756-3760.

[16] Pan A, Wen K, Yao B L. Linear space-variant optical cryptosystem via Fourier ptychography[J]. Optics Letters, 2019, 44(8): 2032-2035.

[17] Bian L H, Suo J L, Zheng G A, et al. Fourier ptychographic reconstruction using Wirtinger flow optimization[J]. Optics Express, 2015, 23(4): 4856-4866.

[18] Zhang M Y, Zhang L L, Yang D, et al. Symmetrical illumination based extending depth of field in Fourier ptychographic microscopy[J]. Optics Express, 2019, 27(3): 3583-3597.

[19] 张雷雷, 唐立金, 张慕阳, 等. 对称照明在傅里叶叠层成像中的应用[J]. 物理学报, 2017, 66(22): 224201.

Zhang L L, Tang L J, Zhang M Y, et al. Symmetric illumination in Fourier ptychography[J]. Acta Physica Sinica, 2017, 66(22): 224201.

[20] Tian L, Liu Z J, Yeh L H, et al. Computational illumination for high-speed in vitro Fourier ptychographic microscopy[J]. Optica, 2015, 2(10): 904.

[21] Zhou A, Chen N, Wang H C, et al. Analysis of Fourier ptychographic microscopy with half of the captured images[J]. Journal of Optics, 2018, 20(9): 095701.

[22] Zhang Y B, Song P M, Dai Q H. Fourier ptychographic microscopy using a generalized Anscombe transform approximation of the mixed Poisson-Gaussian likelihood[J]. Optics Express, 2017, 25(1): 168-179.

[23] Bian L H, Suo J L, Chung J, et al. Fourier ptychographic reconstruction using Poisson maximum likelihood and truncated Wirtinger gradient[J]. Scientific Reports, 2016, 6: 27384.

[24] Zhou Y, Wu J M, Bian Z C, et al. Fourier ptychographic microscopy using wavelength multiplexing[J]. Journal of Biomedical Optics, 2017, 22(6): 066006.

[25] Dong S Y, Shiradkar R, Nanda P, et al. Spectral multiplexing and coherent-state decomposition in Fourier ptychographic imaging[J]. Biomedical Optics Express, 2014, 5(6): 1757-1767.

[26] Wang M Q, Zhang Y Z, Chen Q, et al. A color-corrected strategy for information multiplexed Fourier ptychographic imaging[J]. Optics Communications, 2017, 405: 406-411.

[27] Zhang J Z, Xu T F, Chen S N, et al. Efficient colorful Fourier ptychographic microscopy reconstruction with wavelet fusion[J]. IEEE Access, 2018, 6: 31729-31739.

[28] Litjens G, Kooi T, Bejnordi B E, et al. A survey on deep learning in medical image analysis[J]. Medical Image Analysis, 2017, 42: 60-88.

[29] Hosny A, Parmar C, Quackenbush J, et al. Artificial intelligence in radiology[J]. Nature Reviews Cancer, 2018, 18(8): 500-510.

[30] Tajbakhsh N, Shin J Y, Gurudu S R, et al. Convolutional neural networks for medical image analysis: full training or fine tuning?[J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1299-1312.

[31] Lin H N, Shi Z W, Zou Z X. Fully convolutional network with task partitioning for inshore ship detection in optical remote sensing images[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10): 1665-1669.

[32] Palsson F, Sveinsson J R, Ulfarsson M O. Multispectral and hyperspectral image fusion using a 3-D-convolutional neural network[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(5): 639-643.

[33] Zhang RQ, YaoJ, ZhangK, et al. S-CNN ship detection from high-resolution remote sensing images[C]∥ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, July 12-19, 2016, Prague, Czech Republic. Gottingen: Copernicus Publication, 2016: 423- 430.

[34] Sainath T N, Weiss R J, Wilson K W, et al. Multichannel signal processing with deep neural networks for automatic speech recognition[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2017, 25(5): 965-979.

[35] Qian Y M, Bi M X, Tan T, et al. Very deep convolutional neural networks for noise robust speech recognition[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2016, 24(12): 2263-2276.

[36] Cheng Y F, Strachan M, Weiss Z, et al. Illumination pattern design with deep learning for single-shot Fourier ptychographic microscopy[J]. Optics Express, 2019, 27(2): 644-656.

[37] Jiang S W, Guo K K, Liao J, et al. Solving Fourier ptychographic imaging problems via neural network modeling and TensorFlow[J]. Biomedical Optics Express, 2018, 9(7): 3306-3319.

[38] Sun M L, Chen X, Zhu Y Q, et al. Neural network model combined with pupil recovery for Fourier ptychographic microscopy[J]. Optics Express, 2019, 27(17): 24161-24174.

[39] Nguyen T, Xue Y J, Li Y Z, et al. Deep learning approach for Fourier ptychography microscopy[J]. Optics Express, 2018, 26(20): 26470-26484.

[40] Robey A, Ganapati V. Optimal physical preprocessing for example-based super-resolution[J]. Optics Express, 2018, 26(24): 31333-31350.

[41] Gonzalez RC, Woods RE. Digital image processing[M]. 3rd ed. USA: Pearson Education, 2008: 842- 852.

[42] Hotelling H. Analysis of a complex of statistical variables into principal components[J]. Journal of Educational Psychology, 1933, 24(6): 498-520.

[43] Kingma DP, Ba J. Adam: a method for stochastic optimization[EB/OL]. ( 2017-01-30)[2020-05-17]. https:∥arxiv.org/abs/1412. 6980.

张慕阳, 梁艳梅. 基于三维卷积神经网络的彩色傅里叶叠层显微术[J]. 光学学报, 2020, 40(20): 2011001. Muyang Zhang, Yanmei Liang. Color Fourier Ptychography Microscopy Using Three-Dimensional Convolutional Neural Network[J]. Acta Optica Sinica, 2020, 40(20): 2011001.

基于三维卷积神经网络的彩色傅里叶叠层显微术下载： 1243次

1 引言

2 方法

图 1. 基于CNN的彩色FPM算法的流程图

Fig. 1. Flow chart of color FPM algorithm based on CNN

图 2. 所提CNN结构

Fig. 2. Structure of proposed CNN

3 实验结果

表 1. 不同算法的RMSE和SSIM

Table 1. RMSE and SSIM of different algorithms

表 3. 不同算法的LR图像数量和采集时间

Table 3. Number of LR images and capturing time of different algorithms

表 2. 不同算法的RMSE和SSIM

Table 2. RMSE and SSIM of different algorithms

图 3. 不同算法的彩色重建结果。(a) HR图像;(b)彩色LR图像;(c)红色通道重建的HR图像;(d)所提算法;(e)频谱复用FPM算法^[25];(f)三通道分立的FPM算法

Fig. 3. Color reconstruction results of different algorithms. (a) HR image; (b) color LR image; (c) reconstructed HR image of red channel; (d) proposed algorithm; (e) spectrum multiplexing FPM algorithm^[25]; (f) three-channel separated FPM algorithm

图 4. 以分辨率板为输入样品的数值模拟结果。(a)HR图像;(b)彩色LR图像;(c)红色通道重建的HR图像;(d)所提算法;(e)频谱复用FPM算法^[25];(f)三通道分立的FPM算法

Fig. 4. Numerical simulation results of resolution target as input sample. (a) HR image; (b) color LR image; (c) reconstructed HR image of red channel; (d) proposed algorithm; (e) spectrum multiplexing FPM algorithm^[25]; (f) three-channel separated FPM algorithm

图 5. 实验系统的图像重建结果。(a)彩色LR图像;(b)所提算法;(c)频谱复用FPM算法^[25];(d)三通道分立的FPM算法

Fig. 5. Image reconstruction results of experimental system. (a) Color LR image; (b) proposed algorithm; (c) spectrum multiplexing FPM algorithm^[25]; (d) three-channel separated FPM algorithm

4 讨论

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于三维卷积神经网络的彩色傅里叶叠层显微术 下载： 1243次

1 引言

2 方法

图 1. 基于CNN的彩色FPM算法的流程图

Fig. 1. Flow chart of color FPM algorithm based on CNN

图 2. 所提CNN结构

Fig. 2. Structure of proposed CNN

3 实验结果

表 1. 不同算法的RMSE和SSIM

Table 1. RMSE and SSIM of different algorithms

表 3. 不同算法的LR图像数量和采集时间

Table 3. Number of LR images and capturing time of different algorithms

表 2. 不同算法的RMSE和SSIM

Table 2. RMSE and SSIM of different algorithms

图 3. 不同算法的彩色重建结果。(a) HR图像;(b)彩色LR图像;(c)红色通道重建的HR图像;(d)所提算法;(e)频谱复用FPM算法[25];(f)三通道分立的FPM算法

Fig. 3. Color reconstruction results of different algorithms. (a) HR image; (b) color LR image; (c) reconstructed HR image of red channel; (d) proposed algorithm; (e) spectrum multiplexing FPM algorithm[25]; (f) three-channel separated FPM algorithm

图 4. 以分辨率板为输入样品的数值模拟结果。(a)HR图像;(b)彩色LR图像;(c)红色通道重建的HR图像;(d)所提算法;(e)频谱复用FPM算法[25];(f)三通道分立的FPM算法

Fig. 4. Numerical simulation results of resolution target as input sample. (a) HR image; (b) color LR image; (c) reconstructed HR image of red channel; (d) proposed algorithm; (e) spectrum multiplexing FPM algorithm[25]; (f) three-channel separated FPM algorithm

图 5. 实验系统的图像重建结果。(a)彩色LR图像;(b)所提算法;(c)频谱复用FPM算法[25];(d)三通道分立的FPM算法

Fig. 5. Image reconstruction results of experimental system. (a) Color LR image; (b) proposed algorithm; (c) spectrum multiplexing FPM algorithm[25]; (d) three-channel separated FPM algorithm

4 讨论

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于三维卷积神经网络的彩色傅里叶叠层显微术下载： 1243次

图 3. 不同算法的彩色重建结果。(a) HR图像;(b)彩色LR图像;(c)红色通道重建的HR图像;(d)所提算法;(e)频谱复用FPM算法^[25];(f)三通道分立的FPM算法

Fig. 3. Color reconstruction results of different algorithms. (a) HR image; (b) color LR image; (c) reconstructed HR image of red channel; (d) proposed algorithm; (e) spectrum multiplexing FPM algorithm^[25]; (f) three-channel separated FPM algorithm

图 4. 以分辨率板为输入样品的数值模拟结果。(a)HR图像;(b)彩色LR图像;(c)红色通道重建的HR图像;(d)所提算法;(e)频谱复用FPM算法^[25];(f)三通道分立的FPM算法

Fig. 4. Numerical simulation results of resolution target as input sample. (a) HR image; (b) color LR image; (c) reconstructed HR image of red channel; (d) proposed algorithm; (e) spectrum multiplexing FPM algorithm^[25]; (f) three-channel separated FPM algorithm

图 5. 实验系统的图像重建结果。(a)彩色LR图像;(b)所提算法;(c)频谱复用FPM算法^[25];(d)三通道分立的FPM算法

Fig. 5. Image reconstruction results of experimental system. (a) Color LR image; (b) proposed algorithm; (c) spectrum multiplexing FPM algorithm^[25]; (d) three-channel separated FPM algorithm