西安邮电大学 通信与信息工程学院，陕西西安710121
由于卷积操作的局限性，现有的皮肤病变图像分割网络无法对图像中的全局上下文信息建模，导致其无法有效捕获图像的目标结构信息，本文设计了一个融入交叉自注意力编码的U型混合网络，用于皮肤病变图像分割。首先，将设计的多头门控位置交叉自注意力编码器引入到U型网络的最后两个层级中，使其能够在图像中学习语义信息的长期依赖关系，弥补卷积操作全局建模能力的不足；其次，在跳跃连接部分引入一个新的位置通道注意力机制，用于编码融合特征的通道信息并保留位置信息，提高网络捕获目标结构的能力；最后，设计一个正则化Dice损失函数，使网络能够在假阳性和假阴性之间权衡，提高网络的分割结果。基于ISBI2017和ISIC2018数据集的对比实验结果表明，本文网络的Dice分别为91.48%和91.30%，IoU分别为84.42%和84.12%，分割精度在整体上优于其他网络，且具有较低的参数量和计算复杂度，即本文网络能够高效地分割皮肤病变图像的目标区域，可为皮肤疾病辅助诊断提供帮助。
医学图像分割 皮肤病变 交叉自注意力编码 位置通道注意力 medical image segmentation skin lesion cross-self-attention coding position channel attention
1 北方民族大学 计算机科学与工程学院，宁夏银川75002
2 宁夏医科大学 医学信息工程学院，宁夏银川750004
3 北方民族大学 图像图形智能处理国家民委重点实验室，宁夏银川750021
基于生成对抗网络（Generative Adversarial Network，GAN）的医学图像融合是计算机辅助诊断领域的研究热点之一，但是现有基于GAN的融合方法存在训练不稳定，提取图像的局部和全局上下文语义信息能力不足，交互融合程度不够等问题。针对上述问题，本文提出了双耦合交互式融合GAN （Dual-Coupled Interactive Fusion GAN， DCIF-GAN）。首先，设计了双生成器双鉴别器GAN，通过权值共享机制实现生成器之间和鉴别器之间的耦合，通过全局自注意力机制实现交互式融合；第二，设计耦合CNN-Transformer的特征提取模块（Coupled CNN-Transformer Feature Extraction Module， CC-TFEM）和特征重构模块（CNN-Transformer Feature Reconstruction Module， C-TFRM），提升了对同一模态图像内部的局部和全局特征信息提取能力；第三，设计跨模态交互式融合模块（Cross Model Intermodal Fusion Module， CMIFM），通过跨模态自注意力机制，进一步整合不同模态间的全局交互信息。为了验证本文模型的有效性，在肺部肿瘤PET/CT医学图像数据集上进行实验，该文方法在平均梯度，空间频率，结构相似度，标准差，峰值信噪比，信息熵等上与其他四种方法中最优方法相比，分别提高了1.38%，0.39%，29.05%，30.23%，0.18%，4.63%。模型能够突出病变区域信息，融合图像结构清晰且纹理细节丰富。
医学图像 图像融合 PET/CT 耦合生成对抗网络 Swin Transformer medical image image fusion PET/CT coupled generative adversarial network swin transformer
1 中国科学技术大学工程科学学院精密机械与精密仪器系，安徽 合肥 230027
2 中国科学技术大学苏州高等研究院，江苏 苏州 215123
3 中国科学技术大学微电子学院，安徽 合肥 230027
宫颈异常细胞与正常细胞在形态上存在较大相似性且细胞尺寸变化较大，这使得宫颈异常细胞的精准检测变得非常困难。鉴于此，开发了一种基于Transformer模型的宫颈异常细胞自动识别模型，以帮助病理学家作出更准确的诊断。提出了两种创新性方法，一是一种改进的Transformer编码器结构，通过引入深度（DW）卷积来高效获取图像的特征，捕捉图像中的全局依赖信息；二是自适应的动态交并比（IOU）阈值，在模型训练的不同阶段使用不同的IOU阈值，实现尽可能多的有效检测，提升模型的收敛速度和检测精度。在宫颈异常细胞数据集上，通过消融实验，证明了改进的Transformer编码器和动态IOU阈值的有效性。此外，与已有的宫颈异常细胞识别方法相比，所提出的方法在平均精度指标上有明显的提高。实验结果表明，所提出的方法能够高效且准确地识别宫颈异常细胞，且能辅助病理专家提高诊断准确率和效率，具有应用到临床的潜力。
医用光学 宫颈细胞病理图像 目标检测 医学图像处理
光学 精密工程
2023, 31(23): 3482
广东工业大学 信息工程学院, 广东 广州 510006
针对现有医学图像分割模型存在着计算复杂度较高、参数量大,难以部署到实时医疗辅助诊断系统中,而现有的轻量化模型存在参数减小后导致分割性能下降等问题,提出了一种基于改进的轻量化U-Net分割模型。该模型由编码器、解码器和跳连接三个主要部分组成。编码器使用了由标准卷积和深度可分离卷积组合形成的多尺度融合模块,在此基础上,为增强神经网络学习能力,引入了瓶颈层结构,使用聚合方法设计出轻量级的跨级部分网络模块作为特征提取器对输入的图像进行特征提取; 在解码器中继续使用了该轻量级模块来进一步优化模型,降低模型的计算复杂度以及减少参数量,同时能够产生更好分割效果; 通过跳连接的方式实现编码器与解码器之间不同分辨率的特征信息融合。在腹部器官CHAOS和胸腔Chest X-ray数据集上进行实验,结果表明,改进型U-Net分割模型的参数量以及计算复杂度都得到了不同程度的降低,在模型参数量仅为1.28M的情况下,DSC分别为87.53%和95.85%,IOU分别为85.25%和92.21%,取得了不弱于其他网络的分割性能。
深度学习 医学图像分割 U-Net模型 轻量化 deep learning medical image segmentation U-Net model lightweight
1 北方民族大学 计算机科学与工程学院， 宁夏银川75002
2 北方民族大学图像图形智能处理国家民委重点实验室， 宁夏银川75001
3 宁夏医科大学 医学信息工程学院， 宁夏银川750004
多模态医学图像融合在医学临床应用中起着至关重要的作用，为了解决现有方法大多数侧重于局部特征的提取，对全局依赖关系的探索不足，忽略了全局和局部信息交互，导致难以有效解决周围组织与病灶区域之间的模式复杂性和强度相似性问题。该文提出面向PET和CT医学图像融合的LL-GG-LG Net模型。首先，提出了局部-局部融合模块（Local-Local Fusion Module，LL Module），该模块采用双层注意力机制更好地关注局部细节信息特征；其次，设计了全局-全局融合模块（Global-Global Fusion Module，GG Module），该模块通过在Swin Transformer中加入残差连接机制将局部信息引入全局信息中，提高了Transformer对局部信息的关注程度；然后，提出一种基于可微分神经架构搜索自适应的密集融合网络的局部-全局融合模块（Local-Global Fusion Module，LG Module），充分捕获全局关系并保留局部线索，有效解决背景和病灶区域相似度高问题；使用临床多模态肺部医学图像数据集验证模型的有效性，实验结果表明，该文方法在平均梯度，边缘强度，QAB/F，空间频率，标准差，信息熵等感知图像融合质量评价指标上与其他七种方法中最优的方法相比，分别平均提高了21.5%，11%，4%，13%，9%，3%。模型能够突出病变区域信息，融合图像结构清晰且纹理细节丰富。
医学图像融合 深度学习 注意力机制 可微分架构搜索 密集网 medical image fusion deep learning attention mechanism differentiable architecture search dense network 光学 精密工程
2023, 31(20): 3050
肾肿瘤危害极大，严重影响人类身体健康，对肾肿瘤进行早期检测和诊断有助于患者的治疗与康复。为高效地从腹部电子计算机断层扫描（CT）图像中分割出肾脏及肾肿瘤图像，提出一种基于三维U2型网络（U2-Net）的分割方法。首先，将二维U2-Net升维并调整网络深度、损失函数与深度监督策略；其次，为了增强解码端的特征表达能力，提出残差特征强化模块，对解码端特征图进行通道与空间域的强化；最后，为提高网络对全局信息的提取能力，提出基于全局特征的多头自注意力模块，计算特征图所有体素点间的长期依赖关系，获取丰富的三维医学图像上下文信息。所提方法在KiTS19官方数据集上的实验结果表明，平均Dice值为0.9008，参数量为4.60 MB，与现有方法相比，所提方法能够在参数量较小的前提下，取得较好的分割精度，对小内存嵌入式肾脏和肾肿瘤图像分割系统具有很高的应用价值。
医学图像分割 卷积神经网络 残差特征强化 多头自注意力 激光与光电子学进展
2023, 60(22): 2210010
1 北京理工大学光电学院，北京 100081
2 北京市混合现实与新型显示工程技术研究中心，北京 100081
3 北京理工大学计算机学院，北京 100081
4 北京理工大学医学技术学院，北京 100081
5 中国人民解放军总医院激光医学科，北京 100853
手术导航综合运用器官分割建模与手术规划、位姿标定与跟踪定位、多模态图像配准与融合显示等技术，使医生精确定位病灶与手术工具的位置，透过组织表面对内部组织进行观测，可大幅提升手术的安全性，缩短手术时间并提高手术效率。常规手术通常使用超声、内窥镜或X光等单模态影像进行手术过程引导，信息单一且均为二维影像，空间立体信息缺失，手术过程严重依赖医生经验；而多模态图像引导的手术导航技术通过融合多模态图像的优势，在三维空间提供病灶的结构或功能信息，大幅提升医生对血管、神经以及重要组织结构的空间辨识力。由此，本文针对多模态图像分割建模、手术方案决策、手术空间位姿标定与跟踪、多模态图像配准、图像融合与显示等多模态图像引导手术导航的关键技术进行总结和分析，提出其进一步发展面临的挑战并展望其未来发展趋势。多模态图像引导手术导航技术已成为神经外科、颅颌面、骨科、经皮穿刺、血管介入等临床科室精准治疗的新兴手段，具有重要的应用前景。
手术导航 手术机器人 多模态医学影像 医学图像处理 定位跟踪 配准融合 光学学报
2023, 43(15): 1500002
Author Affiliations
Abstract
1 School of Computer Science & Engineering, Hubei Key Laboratory of Intelligent Robot, Wuhan Institute of Technology, Wuhan, Hubei 430205, P. R. China
2 Britton Chance Center for Biomedical Photonics, Wuhan National Laboratory for Optoelectronics-Huazhong University of Science and Technology, Wuhan, Hubei 430074, P. R. China
Medical image segmentation plays a crucial role in clinical diagnosis and therapy systems, yet still faces many challenges. Building on convolutional neural networks (CNNs), medical image segmentation has achieved tremendous progress. However, owing to the locality of convolution operations, CNNs have the inherent limitation in learning global context. To address the limitation in building global context relationship from CNNs, we proposeLGNet, a semantic segmentation network aiming to learn local and global features for fast and accurate medical image segmentation in this paper. Specifically, we employ a two-branch architecture consisting of convolution layers in one branch to learn local features and transformer layers in the other branch to learn global features. LGNet has two key insights: (1) We bridge two-branch to learn local and global features in an interactive way; (2) we present a novel multi-feature fusion model (MSFFM) to leverage the global contexture information from transformer and the local representational features from convolutions. Our method achieves state-of-the-art trade-off in terms of accuracy and efficiency on several medical image segmentation benchmarks including Synapse, ACDC and MOST. Specifically, LGNet achieves the state-of-the-art performance with Dice’s indexes of 80.15% on Synapse, of 91.70% on ACDC, and of 95.56% on MOST. Meanwhile, the inference speed attains at 172 frames per second with input resolution. The extensive experiments demonstrate the effectiveness of the proposed LGNet for fast and accurate for medical image segmentation.
CNNs transformers segmentation medical image contextual information Journal of Innovative Optical Health Sciences
2023, 16(4): 2243001
