1 引言

单光子成像是利用单光子探测器对单个光子进行甄别和计数,从而在光极其微弱环境下实现成像,在生物医学成像^[1-4]、荧光寿命显微镜成像^[5-6]、多光谱成像^[7-8]等领域得到了广泛应用。实现单光子成像的方法主要有两种。一种方法是采用面阵单光子探测器实现二维成像。面阵探测器增强CCD(ICCD)^[9]和电子倍增CCD(EMCCD)^[10]可以在光子计数模式下工作,具有很高的空间分辨率,但需要极高的读出帧频和低电路噪声,因此成本很高。其他面阵单光子探测器,如单光子雪崩二极管(SPAD)阵列、微通道板光电倍增管(MCP-PMT)^[11-13]、多阳极光电倍增管(MAPMT)^[14]、硅光电倍增管(SIPM)阵列^[15]等,价格昂贵、分辨率比较低。另一种实现单光子成像的方法是利用点探测器加光机扫描的方式进行成像。常用的光电倍增管、雪崩光电二极管和超导纳米线等单光子探测器作为点探测器。由于扫描方式光子采集效率较低,因此成像时间较长。

基于压缩感知理论的单像素成像为单光子成像提供了一种新的思路。2012年,Yu等^[16]提出了一种基于单像素成像技术的单光子压缩成像系统。它有两个主要优势:仅使用点探测器即可实现二维成像,因此这种成像方法成本较低,特别是在某些特殊波段;单像素成像系统中的点探测器可以同时采集多个像素的光强,所以该系统的成像灵敏度不再受单光子点探测器探测灵敏度的限制,信噪比大大提高。

然而,单光子压缩成像的成像速度非常慢,限制了其应用。它还有两个方面需要改进。一是设计测量矩阵对最有效的信息进行采样,从而减少总采样时间。二是开发一种快速、高质量的重建算法。在测量矩阵方面,利用高斯矩阵^[17]、二进制随机矩阵^[18]、Toeplitz矩阵^[19]等矩阵进行少量测量,可以有效地恢复信号。为了实现高效采样,一些研究人员基于从已有测量数据中获得的先验信息构造了自适应测量矩阵^[20],以减少测量次数。为了更有效地对信息进行采样,本文利用专门设计的深度学习网络来产生测量矩阵。在重建算法方面,已经提出了许多优秀的算法,如OMP(Orthogonal Matching Pursuit)^[21]、ROMP(Regularized Orthogonal Matching Pursuit)^[22]、IHT(Iterative Hard Thresholding)^[23]和TVAL3(Total Variation Augmented Lagrangian Alternating Direction Algorithm)^[24]。这些算法大多基于图像稀疏或一定变换域下稀疏的假设,采用迭代策略求解凸优化问题。其中TVAL3算法是结合了增强拉格朗日函数和基于最小全变分法的交替极小化方法。使用上述各种算法重建图像所需的时间普遍较长,特别是处理分辨率较大的图像时。

深度神经网络^[25]在图像分类^[26]、超分辨率^[27]、目标检测^[28]、恢复^[29]等计算机视觉任务上取得了一系列突破。近年来,人们提出了几种用于压缩感知(CS)测量中重建图像的深度神经网络。由于其强大的学习能力,目前基于深度学习的方法有效地避免了计算量大、重建时间长等问题,并且具有良好的重建性能^[30]。Shimobaba等^[31]利用深度学习提高计算鬼影成像(CGI)图像的质量,并取得了良好的效果。2015年,Mousavi等^[32]将叠加去噪自动编码器(SDA)应用于无监督特征学习,大大缩短了重建时间。2016年,Kulkarni等^[30]提出了基于图像超分辨率重建的重建模型,重建效果优于SDA。2019年,Yao等^[33]利用深层残差学习构建了DR2-Net,重建结果更加准确。实验结果表明,在不降低重建图像质量的前提下,利用深度学习重建压缩感知图像的时间复杂度可降低为原来的1%左右。Xie等^[34]提出了一种用于压缩感知图像重建的自适应测量网络,该网络采用全连接层代替随机高斯矩阵来实现CS测量,获得了更精确的重建图像。上述基于深度学习的压缩感知成像方法均采用浮点型随机矩阵作为测量矩阵,且仅通过仿真进行了验证。然而,在单光子压缩成像系统中,加载在数字微镜阵列(DMD)上的测量矩阵必须是二进制矩阵,且上述方案的可行性需要实验系统的验证。

本文提出了一种新的采样和重建集成的残差编解码网络。网络的第一层使用二值化的全连接层实现图像的CS测量。也就是说,将网络第一层的二值化权值矩阵加载到DMD上对图像进行采样,然后利用后续的网络对图像进行重建,从而实现大面积高分辨率的快速成像。在此基础上,建立单光子压缩成像实验系统,验证了SRIED-Net的可靠性。

2 原理与实现

2.1 单光子压缩成像系统

图1是单光子压缩成像系统光路图。整个系统的光源由LED、平行光管、衰减片和光阑组成。LED发出的光通过平行光管、衰减片和光阑后,变成了一个非常微弱的平行光,其强度为单光子水平。成像目标为在玻璃基底上刻蚀的透射图形,在平行光的照射下,经透镜成像在DMD上。DMD (TI: 0.7 XGA DDR DMD)具有1024×768个可单独控制偏转的微镜,作为空间光调制器,连续加载测量矩阵,实现对空间光的随机调制。每个微镜的尺寸为13.68 μm×13.68 μm。每个数字微镜都有两种反射状态,+12°和-12°的反射分别代表“开”和“关”的调制。

图 1. 单光子压缩成像实验光路图

Fig. 1. Experimental optical path of single photon compressive imaging

下载图片 查看所有图片

在+12°的位置上放置一个会聚透镜,用来会聚DMD调制的光信号,使其进入工作在光子计数模式的光电倍增管 (PMT,Hamamatsu Photonics H10682-110)。工作在光子计数模式的光电倍增管可作为点探测器,可以在一次采集中同时收集多个DMD上像素的光强值,输出一个一个离散脉冲至接收器。因此,该系统的信噪比非常高,可以在很高的灵敏度下进行成像。将已经训练好的SRIED网络的第一层全连接层的二值化权值矩阵作为测量矩阵,通过基于FPGA的控制模块加载至DMD上实现光的调制,并在每一次采集之后读出光电倍增管的计数值,即光子数,通过FPGA的串口将数据发送到上位机,上位机处理后,输入已经训练好的SRIED后续网络重建出采集到的图像。

2.2 网络架构

本文提出的SRIED-Net结构如图2所示。网络将原始图像分割为32×32的小块作为输入,重建图像由网络输出的32×32个图像块拼接而成。SRIED-Net包括压缩采样子网络F^c(·),初步重建子网络F^f(·)和残差编解码卷积子网络F^r(·)。F^c(·)用于生成原始图像的CS测量值,F^f(·)用于处理CS测量值以形成初步重建的图像。F^r(·)使用编解码卷积网络和残差映射来进一步重建输出图像。

图 2. 用SRIED-Net进行训练和测试的过程

Fig. 2. Process of training and testing with SRIED-Net

下载图片 查看所有图片

压缩采样子网络:网络的输入是第i个原始图像x_i(x_i∈R^1×m)。第一层全连接层可以看作一个压缩感知测量矩阵W₁(W₁∈R^m×n),用以代替传统的随机高斯测量矩阵。为了适应DMD的采样特性,本文对第一层全连接层的权值矩阵W₁进行了二值化,并将其表示为 W1b。压缩采样就是将二值化矩阵加载到DMD上进行采样的过程,可以表示为

yi=xiWb1,(1)

式中:y_i∈R^1×n为第i个原始图像压缩采样后的结果,n为测量次数。

初步重建子网络:网络中第二层全连接层用于对压缩测量结果进行初步重建,重建过程可以表示为

xri=yiW2,(2)

式中: xri∈R^1×m是初步重建后的图像。(2)式从y_i到 xri的映射可以看成近似的线性映射,其中W₂∈R^n×m为映射矩阵。损失函数表示为

L(W2)=1N∑i=1Nxri-xi2,(3)

式中:N为训练一个批次所用图像块的个数。

残差编解码卷积子网络:受到RED-CNN网络^[35]的启发,本文采用残差编解码卷积网络对测量结果进行进一步的重建。网络的总体结构如图2所示。该子网络由14层组成,包括对称排列的7个卷积层和7个反卷积层,每层后面都使用了ReLU激活函数。前7层卷积层用作编码器来提取特征,后7层反卷积层用作解码器,从提取的特征中重建图像。由于编码器和解码器应成对出现,因此卷积和反卷积层在所提出的网络中是对称的。为确保网络的输入和输出完全匹配,卷积层和反卷积层的内核大小需相同,为3×3。请注意:通过本文框架中的卷积和反卷积层的数据流需遵循“FILO”(先入后出)规则。第一卷积层对应于最后一个反卷积层,最后一个卷积层对应于第一个反卷积层,以此类推。

残差映射:与现有技术方法^[36-37]一样,卷积将消除一些图像细节。尽管反卷积层可以恢复一些细节,但是当网络越来越深时,累积的损失可能导致图像重建效果不是很理想的。此外,当网络深度增加时,梯度扩散可能使网络难以训练。为了解决这两个问题,本文在网络中引入了剩余补偿机制,类似于深度残差学习^[38-39]。采用残差映射,而不是仅通过堆叠层将输入映射到输出,如图3所示。将输入定义为I,输出定义为O,残差映射可以表示为F(I)=O-I,并且本文使用堆叠层来适应这种映射。构建了残差映射后,就可以将输出表示为R(I)=O=F(I)+I。

图 3. 残差映射原理图

Fig. 3. Residual mapping schematic

下载图片 查看所有图片

重建过程:对于给定的图像,本文首先将其无重叠的部分分割成32×32大小的图像块,将分割后的图像块作为SRIED-Net的输入并将其拉伸为1×1024大小。在压缩采样子网络中,n随着测量率(MR)的变化而变化,n=256,103,41,11对应的测量率分别为0.25,0.10,0.04,0.01。输入图像经过第一层全连接层后,输出压缩采样后的信号。第二层全连接层是由1024个神经元组成的,可将连接层输出的1×1024的图像转为32×32的图像,并将其作为初步重建图像。残差编解码卷积网络F^r(·)以初步重建结果 xri为输入,输出尺寸为32×32,最终的输出图像由输出的图像块按顺序拼接而成。

2.3 二值化及训练方法

本节主要介绍了本文使用的二值化方法和相应的训练方法。受文献[ 40]的启发,对神经网络第一个全连接层的权值W₁进行二值化。相比于文献[ 40]中对所有层都进行二值化,本文只对第一层进行了二值化,从而更好地保证了重建的精度。本文使用的二值化方案是基于符号函数sign的确定性方法,即

xb=sign(x)=+1,ifx≥0-1,otherwise,(4)

式中:x^b为二值化的变量;x为实值变量,它的实现非常简单,在实践中也非常有效。已知二值化操作(即前向传播过程)为

q=sign(r),(5)

符号函数sign的导数为零,显然无法进行反向传播运算。因此,在反向传播过程中需要对梯度进行修正,假设梯度 ∂C∂q为g_q,其中C为损失函数,已知q的梯度,那么r的梯度为 ∂C∂r,即C对r的求导公式为

gr=gq·1r≤1。(6)

注意,这保留了梯度的信息,并在r太大时取消了梯度。当r太大时,如果不取消梯度就会显著降低性能。其中 1r≤1可以表示成Htanh函数,这也是函数变得可导的原因,具体如下:

Htanh(x)=Clip(x,-1,1)=max[-1,min(1,x)]。(7)

3 实验结果与讨论

在重建质量方面,将本文的重建方案与目前比较先进的CS图像重建算法TVAL3进行比较,将Xie等^[34]提出的AD_RE-Net的首层全连接层进行二值化后也与本文的方案进行比较。另外,本文分别使用SRIED-Net生成的测量矩阵和随机高斯矩阵来实现CS测量,然后使用TVAL3算法对这两个测量结果进行重建并比较它们的重建质量。

本文使用与文献[ 30]中相同的91幅图像来生成SRIED-Net的训练集。然后用步幅14提取32×32大小的图像块,这个过程最终从91幅图像中采样到21760个图像块。对于每个图像块,首先提取其亮度分量,将亮度分量表示为x_i,并将其用作网络的输入。测试集也与文献[ 30]中的相同。

在实验中,使用峰值信噪比(SNR)来比较重建质量,这是因为SNR经常被用作图像压缩领域中信号重建质量的测量方法,常通过均方差(MSE)进行定义。对于两个m×n大小的单色图像I和K,如果一个为另一个的噪声近似,那么他们的均方差定义为

RMSE=1mn∑i=0m-1∑j=0n-1I(i,j)-K(i,j)2,(8)

峰值信噪比定义为

PSNR=10lnM2RMSE,(9)

式中:M表示图像点颜色的最大数值,如果每个采样点用8位表示,其数值就为255。

表1和图4显示了不同测量率下使用不同重建方法的七个测试图像的仿真重建结果,其中TVAL3使用随机高斯矩阵进行压缩测量。结果表明,当测量率较高时,SRIED-Net的性能与TVAL3的性能非常接近。SRIED-Net在低测量率下具有绝对优势,这可能是因为TVAL3不适合在低测量率下进行重建。对文献[ 34]中修改后的AD_RE-Net进行测试,发现AD_RE-Net的峰值信噪比在所有测量率下都远低于SRIED-Net的峰值信噪比。这是因为AD_RE-Net只有六层网络,在第一层全连接层被二值化后,无法获得良好的训练结果。这也证实了SRIED-Net对二值化全连接层具有更好的适应性,并且可以获得良好的重建结果,尤其是在低测量率下。

图 4. 不同算法在不同测量率下的平均峰值信噪比比较

Fig. 4. Comparison of average SNRs of different algorithms at different MR

下载图片 查看所有图片

表1和图4所示的实验结果均通过仿真所得,以下是本文的单光子压缩成像系统的测试结果。在实际实验中,使用长时间测量后获得的图像作为参考图像来计算峰值信噪比。

图5展示了在0.01,0.04,0.10,0.25的测量率下使用AD_RE-Net和SRIED-Net重建的单光子压缩成像的结果。本课题组之前提出了一种微镜组合方法,使用传统的测量矩阵和重建算法,可以在整个DMD镜面上实现大面积成像^[41]。在该实验中,整个DMD镜的成像分辨率为128 pixel×128 pixel。将整个DMD镜面分为4×4个区域,每个区域用于实现由SRIED-Net设计的32 pixel×32 pixel的成像分辨率,组合8×6个微镜以形成1 pixel。将二值化的第一层全连接层作为测量矩阵加载到组合像素中的方法可以参考文献[ 41]。很显然,SRIED-Net的重建结果远远优于AD_RE-Net的重建结果,这与仿真获得的结论一致。

图 5. 单光子压缩成像重建结果

Fig. 5. Reconstruction results of single photon compressive imaging

下载图片 查看所有图片

图6和图7的成像分辨率是256 pixel×256 pixel。将整个DMD划分为8×8个区域,每个区域用于32 pixel×32 pixel的成像,并且用4×3个微镜组合形成1 pixel。

图6显示了使用TVAL3算法和SRIED-Net在0.01,0.04,0.10和0.25的测量率下重建的单光子压缩成像的结果。在高测量率下,SRIED-Net的重建结果与TVAL3算法的重建结果接近;在低测量率下,SRIED-Net的重建效果更好。实验结果与前面的仿真结果一致。SRIED-Net在高测量率下的性能不如TVAL3算法,是因为在高测量率下进行压缩感知图像重建对深度学习网络学习能力的要求更高,而本文提出的SRIED-Net由于训练集数量较少且相对单一,在高测量率下的泛化能力不够,对特征的学习能力不足,还需要进一步优化训练集。

图 6. 单光子压缩成像重建结果

Fig. 6. Reconstruction results of single photon compressive imaging

下载图片 查看所有图片

图7显示了当使用不同的测量矩阵进行压缩测量时,使用TVAL3算法重建的单光子压缩感测图像的结果。图7(a)是使用随机高斯测量矩阵进行压缩测量的重建结果。在DMD上加载来自SRIED-Net的第一层全连接层的权值矩阵,并将其用于压缩测量的重建,结果如图7(b)所示。图8和图9所示为不同测量率下图7中重建结果的峰值信噪比和结构相似性(SSIM,S_SIM)。通过上述结果可知,使用由SRIED-Net产生的测量矩阵进行测量后获得的重建结果优于使用随机高斯测量矩阵的情况。所以可以得出结论:SRIED-Net可以产生更优的测量矩阵,它不仅适用于基于深度学习的重建,还适用于使用TVAL3算法的重建。

图 7. 使用TVAL3算法重建的单光子压缩成像。(a)使用随机高斯矩阵进行采样;(b)使用SRIED-Net的第一层全连接层作为测量矩阵进行采样

Fig. 7. Single photon compressive imaging using TVAL3 to reconstruct. (a) Sampling by random Gaussian matrix; (b) sampling by measurement matrix from the first FC layer in SRIED-Net

下载图片 查看所有图片

图 8. 使用不同测量矩阵采样后重建结果的峰值信噪比

Fig. 8. SNRs of reconstruction results after sampling with different measurement matrices

下载图片 查看所有图片

图 9. 使用不同测量矩阵采样后重建结果的结构相似性

Fig. 9. SIMs of reconstruction results after sampling with different measurement matrices

下载图片 查看所有图片

4 结论

本文展示了一种新型的基于采样和重建集成的残差编解码网络的单光子压缩成像系统。在SRIED-Net的第一层上设置二值化的全连接层用以产生测量矩阵并将其加载到DMD上进行压缩测量,然后使用后续的残差编解码卷积网络进行重建。实验结果表明,将本文所提出的SRIED-Net用于单光子压缩成像是完全可行的,其重建质量远优于自适应测量网络^[34]。SRIED-Net的重建质量在高测量率下接近TVAL3算法的重建质量,在低测量率下优于TVAL3算法。SRIED-Net生成的测量矩阵不仅可以实现基于深度学习方法的良好重建,还适用于使用TVAL3算法的重建,并且重建结果优于使用随机高斯测量矩阵的结果。此外,当深度学习重建网络训练完成后,图像重建阶段的时间复杂度将大大降低。