1 引言

近年来,随着计算机断层扫描(CT)技术的不断发展,CT成像在医学诊断中的应用越来越广泛。但是,CT扫描过程中的高剂量辐射会对人体产生伤害,因此需要在保证图像质量满足临床诊断需求的同时降低辐射剂量。1990年,Naidich等^[1]提出了低剂量CT的概念,即在其他扫描参数不变的情况下,通过降低管电流以达到降低辐射剂量的目的。当管电流降低时,探测器接收到的光子数也减少,从而产生“光子饥饿”效应^[2],导致投影数据被噪声污染,由此投影数据重建得到的CT图像不仅带有明显的噪声,还会产生条纹伪影,对临床诊断造成不利的影响。针对这些问题,人们提出了许多改善低剂量CT图像的质量的算法,可以分为投影域去噪算法、图像重建算法和图像域去噪算法等。

投影域去噪算法直接对投影数据去噪,典型的方法有双边滤波法^[3]、自适应平衡均值滤波法^[4]、自适应卷积滤波法^[5]、惩罚加权最小二乘(PWLS)法^[6]等。这类算法的优势在于可以充分利用投影域噪声分布的统计规律^[7],而缺陷在于在投影域降噪过程中可能会产生数据不一致等问题,容易在重建后的图像中引入新的噪声或伪影^[8]。

CT图像重建算法中最具代表性的是滤波反投影(FBP)算法^[9],其具有分辨率高和成像速度快的优点,是目前应用最为广泛的重建算法。近年来,一些改进的FBP算法^[10-11]以及自适应统计迭代重建(ASIR)、基于模型的迭代重建(MBIR)等迭代重建算法^[12]相继出现,但其在提高了CT图像重建质量的同时,也增加了算法的复杂度和计算耗时。

投影域去噪算法和图像重建算法都需要用到投影数据,然而在实际应用中,投影数据通常作为CT扫描仪的中间结果,一般用户难以直接获取,而图像域去噪算法不依赖于投影数据,能够直接对重建后的CT图像进行去噪,因而成为了目前低剂量CT图像去噪领域的研究热点。文献[ 13]基于第二代Curvelet变换,对低频子带进行非线性增强,对高频子带应用自适应阈值方法进行去噪;文献[ 14-15]分别利用改进的非局部平均(NLM)算法和三维块匹配滤波(BM3D)算法对低剂量CT图像进行去噪;文献[ 16]通过字典学习与稀疏表示的方法抑制噪声和伪影。虽然投影域的噪声分布符合一定的统计规律^[7],但经过FBP算法生成CT图像后,噪声的分布变得复杂,难以用较为精确的模型进行描述,并且图像中可能存在伪影,因此传统的图像域去噪方法难以达到理想的效果,在抑制噪声与伪影的同时容易损失边缘与细节信息。

近年来,深度学习^[17]快速发展,卷积神经网络在图像处理中的应用也愈加广泛。得益于卷积神经网络强大的特征学习与映射能力,在去除低剂量CT图像的复杂噪声时相比传统方法具有更大的优势,Chen等^[18-20]在这方面做了较多工作。文献[ 18]提出一种简单的卷积神经网络用于低剂量CT图像去噪,与传统方法相比在主观视觉效果与客观评价指标上均有所改善。文献[ 19]在文献[ 18]的基础上进行了更为详尽的实验,充分显示了将卷积神经网络应用于低剂量CT图像去噪时相较于传统方法的优越性。文献[ 20]提出一种基于残差编解码器结构的卷积神经网络(RED-CNN),并与传统的方法以及其他基于卷积神经网络的方法进行对比。实验结果表明,不管是在主观视觉效果上,还是在峰值信噪比(PSNR)、结构相似性(SSIM)和均方根误差(RMSE)等客观评价指标上,RED-CNN都是最优的。虽然RED-CNN对低剂量CT图像的去噪效果达到了目前较为先进的水平,但其网络复杂度较高,运算耗时较长,难以适应当前的应用。本文提出一种新的卷积神经网络结构,与RED-CNN相比,不仅大幅度降低了网络参数数量,而且在一定程度上提升了去噪效果。

2 基于卷积神经网络的去噪方法

2.1 去噪模型

假设X是正常剂量CT图像,Y是其对应的低剂量CT图像,Y与X的残差R即为图像中的噪声,则三者的关系可以表示为

Y=X+R。(1)

不同于多数传统方法致力于直接实现Y到X的端到端映射,所提网络学习的是Y到R之间的映射,即寻找一种映射f使得代价函数最小化:

argminff(Y)-R22。(2)

综上所述,网络的输入为低剂量CT图像Y,输出为提取到的噪声 R~=f(Y),两者相减即可得到去噪后的图像 X~为

X~=Y-f(Y)。(3)

2.2 网络结构

图1为所提网络的结构示意图,其中包括卷积(Conv)、批量归一化(BN)^[21]与修正线性单元(ReLU)。每个ConvBlock均由两组Conv-BN-ReLU组成,且每个ConvBlock都将自身的输入特征图与输出特征图连接,作为下一层的输入。网络中除了最后一个Conv层用于输出残差图像外,共有7个Conv层,其中第1个与第7个Conv层输出的特征图数量设为64,其余的输出特征图数量设为48。所有Conv层的卷积核大小均为3 pixel×3 pixel,但值得注意的是,3个ConvBlock分别使用了步长为2、3、2的空洞卷积,所以其三者的实际卷积核大小为5 pixel×5 pixel、7 pixel×7 pixel、5 pixel×5 pixel。若无特殊说明,则默认一个ConvBlock为一层。

图 1. 网络结构示意图

Fig. 1. Schematic of the network

下载图片 查看所有图片

1) BN与残差学习^[22]。随着深度神经网络的不断加深,网络变得愈加难以训练。为了克服这种困难,人们提出了许多应对的方法,比如使用BN与残差学习。BN通常作用于网络中的非线性映射单元之前,通过改变激活输入值的分布,使激活输入值落在非线性函数对输入比较敏感的区域,以此避免梯度消失的问题,具有加快收敛速度、提高网络性能、对权重初始化不敏感等优点。残差学习的理论则认为,当函数H(x)近似于恒等变换时,与其使用神经网络直接拟合,不如拟合残差函数F(x)=H(x)-x更加容易训练。文献[ 23]分析研究了BN与残差学习在图像去噪中的应用,其实验分析表明,BN与残差学习所具有的特点能够使其实现优势互补,因此两者的结合能够显著提升网络的去噪效果,并使网络训练时的收敛曲线更加稳定。借鉴了文献[ 23]的研究成果,在本文网络中使用了BN与残差学习的组合来提升网络性能。

2) 特征图连接。受DenseNet^[24]的启发,所提网络采用了特征图连接的机制,即每个ConvBlock都将自身的输入与输出特征图连接,并一起作为下一层的输入,后方的所有层都能够利用前方每一层的输出特征图。采用这种特征图连接机制的优势在于:①特征图的连接为网络中前后层之间创建了直连通路,梯度在反向传播时能够直接到达网络前方的任何一层,从而缓解了训练过程中梯度消失的问题,使网络更容易训练;②网络中的任何一层都能充分利用其前面各层的输出特征图,与只能利用前面一层输出特征图的传统卷积神经网络相比,这种特征图连接机制鼓励了特征图的重用,从而减少了每层所需特征图的数量。

3) 空洞卷积。在图像去噪中,像素的重建依赖于其对应的上下文信息。对于卷积神经网络,上下文信息的获取范围可以用感受野来衡量。增大感受野通常有2种方法:①增大卷积核的尺寸或网络的深度,但这显然也会增加网络参数的数量;②使用空洞卷积,其原理如图2所示,从左至右分别为普通的卷积核(即空洞步长为1)及其对应的空洞步长分别为2和3的空洞卷积核。空洞卷积能够在不增加网络参数数量的前提下扩大卷积核的尺寸,从而增大整个网络的感受野。

图 2. 空洞卷积示意图。(a)步长为1;(b)步长为2;(c)步长为3

Fig. 2. Schematic of dilated convolution. (a) Step size is 1; (b) step size is 2; (c) step size is 3

下载图片 查看所有图片

3 实验与结果分析

实验仿真的计算机硬件配置为Intel Core i7-6850K与Nvidia GeForce GTX 1080Ti,操作系统为Ubuntu 16.04,使用Caffe训练神经网络并在Matlab R2015b上进行测试。

3.1 训练

选取200幅人体不同部位的CT图像作为训练数据,图像尺寸为512 pixel×512 pixel,其均来自网上公开的CT图像数据集TCIA。对每幅正常剂量CT图像做扇形射束投影变换,将得到的投影矩阵S进行指数运算后加入泊松噪声,然后取对数,再由经典的FBP算法变换到图像域,以此来模拟对应的低剂量CT图像^[7]。投影域加噪式为

In=Poisson[b·exp(-S)],(4)Sn=ln(b/In),(5)

式中b为发射光子数,其值设为10⁶;I_n矩阵为探测器接收到的光子数;S_n为被噪声污染后的投影矩阵。

在开始训练前,使用尺寸为55 pixel×55 pixel的滑动窗,滑动间隔为8,将低剂量CT图像及其残差图像分割为局部重叠的图像块,并且通过旋转、翻转的数据增强操作扩充数据集,训练网络时输入的是这些图像块而非整幅图像。

网络的权重采用高斯分布初始化,每个卷积层的初始权重服从均值为0、标准差为0.01的高斯分布,初始偏置均设为0。网络损失层的损失函数由欧氏距离表示为

L=1N∑i=1Nf(Yi)-Ri22,(6)

式中L为损失值;Y_i为第i幅输入的低剂量CT图像块;f(Y_i)为网络的输出;R_i为对应的实际残差图像块;N为网络进行一次迭代训练输入的图像块数量,实验中取N=128。采用Adam算法^[25]对损失函数进行优化,初始学习率为10^-3,随着训练的进行逐渐下降至10^-5。

3.2 主观效果

从TCIA数据集中随机选取了10幅CT图像作为测试图,其与训练用的200张图片不重复,如图3所示。对比方法为RED-CNN^[20]。图4以第①幅与第⑦幅测试图为例,展示了去噪效果。

图 3. 测试图

Fig. 3. Testing images

下载图片 查看所有图片

图 4. 去噪效果对比图。(a)原图;(b)低剂量图;(c) RED-CNN;(d)所提网络

Fig. 4. Denoising results comparison images. (a) Original CT image; (b) low-dose CT image; (c) RED-CNN; (d) proposed network

下载图片 查看所有图片

虽然RED-CNN与所提网络在去噪后的主观视觉效果上非常相似,但仔细观察图片后可以发现,在细节的保留程度上,所提网络要略优于RED-CNN。图5为图4(a)中方框区域的放大图,如箭头所指,原图中在白色骨质区域内有一小块灰色区域,RED-CNN去噪后该灰色小块已经难以辨认,而所提网络去噪后仍然保留了明显的灰色小块。

3.3 客观指标

采用PSNR、SSIM和RMSE作为评价去噪效果的客观指标,10幅测试图的详细测试结果及其平均值如表1所示。

在10幅测试图中,所提网络与RED-CNN相比在客观指标上有6幅领先、4幅落后,其中PSNR的领先程度为0.38 dB~1.73 dB,落后程度为0.16 dB~0.24 dB,平均后的PSNR高出将近0.6 dB;而RMSE

图 5. 图4(a)中方框区域的放大图。(a)原图;(b)低剂量图;(c) RED-CNN;(d)所提网络

Fig. 5. Fig. 4(a) enlargement of the box region. (a) Original CT image; (b) low-dose CT image; (c) RED-CNN; (d) proposed network

下载图片 查看所有图片

的领先程度为0.0010~0.0080,落后程度为0.0002~0.0006,平均后RMSE低出0.0023。在SSIM指标上所提网络虽然略微领先于RED-CNN,但差距较小,可以认为两者的表现相近。

3.4 复杂度

对比了RED-CNN与所提网络的复杂度与计算耗时,其中复杂度的计算式为 O∑lnl-1fl2nl,可以近似表示网络中参数的数量,其中n_l为网络第l层输出的特征图数量;f_l为网络第l层的卷积核大小。计算耗时的测试方法是:在Matlab R2015b上调用Caffe的接口函数,对512 pixel×512 pixel的测试图做10次正向传播,计算平均耗时。测试结果如表2所示。

可以看出,所提网络相比于RED-CNN,其网络复杂度降低了88%,计算耗时降低了约2/3,计算效率明显提升。

3.5 网络结构的影响

为了研究2.2节所述的网络三大结构特性对去噪效果的影响。分别对默认网络结构做如下改动:1) 删去BN层,让网络直接学习无噪的图像;2) 删去前后层特征图之间的连接;3) 把空洞卷积改回普通卷积。取10幅测试图去噪后的平均PSNR、SSIM与RMSE值作为评价指标,其实验结果如表3所示。

由表3可知,BN与残差学习的组合使用、特征图连接机制、空洞卷积都对提升网络的去噪性能起到了积极的作用。

此外,为了探究每个ConvBlock包含Conv-BN-ReLU组数对网络性能的影响。保持卷积层总数及其自身结构不变,分别将每1、2、3组Conv-BN-ReLU封装为一层ConvBlock,以10幅测试图去噪后的平均PSNR、SSIM和RMSE值作为评价指标,其实验结果如表4所示。

相比于每个ConvBlock包含2组Conv-BN-ReLU,当Conv-BN-ReLU组数为1或3时,网络的去噪效果都有所下降,另外当组合顺序改为BN-ReLU-Conv时,去噪效果也会有所下降,因此,采用了每个ConvBlock包含2组Conv-BN-ReLU的方案。

4 结论

针对传统去噪方法难以有效抑制低剂量CT图像噪声与伪影的问题,利用深度学习技术,构建了一种新型的轻量级卷积神经网络,其主要特点有: 1) 利用BN与残差学习的组合优势; 2) 通过特征图连接机制鼓励特征图的重用; 3) 使用空洞卷积增大网络的感受野。实验结果表明:与目前较先进的RED-CNN相比,所提网络结构大幅度降低了其复杂度,并且在去噪效果上也略微超越了RED-CNN,具有一定的实用价值。