1 北京信息科技大学仪器科学与光电工程学院，北京 102206
2 北京信息科技大学光电测试技术及仪器教育部重点实验室，北京 102206
光学相干层析成像（OCT）是一种高空间分辨率的光学成像方法，可以对生物组织进行非接触、无标记的二维截面和三维体积成像，能为临床疾病的诊断提供具有重要参考价值的影像信息。在传统的台式OCT系统中，扫描探头被固定在工作台上，探头结构较大，灵活性差，不利于深入狭小腔体内部成像或在床旁检测。本团队设计了一种视频引导的手持式高速OCT系统，其手持探头结构紧凑、体积小巧，便于抓取和深入狭小腔体内部；探头内部集成了相机成像功能，可以实时获得成像区域的视频图像，引导OCT成像。该系统的A线扫描速率可以达到200 kHz。为了克服成像过程中的抖动问题，本团队提出了图像自动配准算法，该算法能显著提高图像质量。采用该系统对离体猪眼角膜和离体猪牙齿进行成像，以验证系统的性能。结果显示该系统能够高速获取高分辨的组织图像。
医用光学 光学相干层析成像 手持探头 图像配准
针对单可见光或单红外条件下的IC器件表面缺陷对比度不足，缺陷检测精度低的问题，提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题，引入拉普拉斯金字塔和特征描述符重组策略改进ORB（Oriented FAST and Rotated BRIEF）图像配准算法。在图像配准的基础上，提出NSST_VP图像融合方法，以非下采样剪切波变换（Non-Subsample Shearlet Transform， NSST）得到红外图像和已配准可见光图像的低频和高频子带，对低频子带采用视觉显著图（Visual Significance Map， VSM）加权融合规则，高频子带则采用自适应脉冲耦合神经网络（PA- Pulse Coupled Neural Network， PA-PCNN）决策融合规则，进而通过NSST逆变换得到高质量多光谱融合图像。最后，将融合图像输入YOLOv8s模型进行检测。实验结果表明，改进ORB的图像配准平均精度为87.8%，比ORB图像配准精度提高了62%，NSST_VP图像融合算法在主观视觉效果和客观评价指标上均有所提高。在缺陷检测实验中，NSST_VP融合方法的均值平均精度（mean Average Precision， mAP）达到83.15%，比单可见光、单红外缺陷图像检测的mAP分别提高了22.97%，28.31%，比双树复小波变换融合、曲线变换融合、非下采样轮廓波变换融合方法的mAP分别提高了13.14%，15.01%，20.35%。
缺陷检测 IC器件 多光谱图像融合 图像配准 非下采样剪切波变换 YOLOv8s defect detection IC device multispectral image fusion image registration non-subsample shearlet transform YOLOv8s
南京航空航天大学 自动化学院，江苏 南京 211100
针对红外与可见光图像难以提取特征点实现配准的问题，提出一种基于边缘结构特征的红外与可见光图像配准算法。首先通过优化的显著性算法增强红外图像的结构特征；其次利用相位一致性提取红外和可见光图像的稳定边缘结构；然后提取边缘结构的ORB（oriented FAST and rotated BRIEF）特征点；最后结合KNN（K-nearest neighbor）算法和余弦相似度对匹配特征点进行筛选，并应用RANSAC（random sample consensus）算法进行提纯。实验表明，该算法能够克服灰度差异的影响，具有较高的配准精度和效率，有助于实现红外与可见光图像的配准。
显著性检测 相位一致性 特征提取 图像配准 saliency detection, phase consistency, feature ext
1 上海科技大学 信息科学与技术学院， 上海 201800
2 中国科学院上海技术物理研究所， 上海 200083
针对单一传感器在复杂路况以及恶劣天气情况下车辆行人检测效果不佳，搭建了一套可见光、可见光偏振、短波红外和长波红外多模态数据采集系统，构建了一个多模态数据集，并提出了一种多模态车辆行人检测算法。首先，提出了一种基于改进型SIFT特征点的多尺度部分强度不变特征的异源图像配准算法; 然后，提出基于YOLOv5多模态数据目标检测网络。最终实现了平均精度在日间数据集1.0%的提升，日间夜间混合数据集10.9%的提升。
多模态 红外与偏振 图像配准 多模态目标检测 multimodal infrared and polarization image registration multimodal target detection
1 中国科学院长春光学精密机械与物理研究所精密仪器与装备研发中心，吉林 长春 130033
2 中国科学院长春光学精密机械与物理研究所工程科研管理处，吉林 长春 130033
针对主流配准方法被用于周扫型光电预警系统的全景图像拼接适用性有限的问题，提出一种基于三维球面模型的全景视频实时拼接方法。首先，基于周扫型光电预警系统的工作模式进行三维空间的全景重建并构建三维球面模型；通过建模的方式对不同俯仰、方位角度下探测器采集图像的像素点空间位置进行定位。然后，基于三维球面模型搜索不同俯仰角度下重叠视场在三维空间内的最佳配准线，并推导出预警图像重叠区域的配准公式。最后，通过逐行的加权融合算法和图像矫直方式实现全景图像无缝拼接。与主流的5种配准方法进行对比，实验结果表明：该方法切实可行，具有较好的全景拼接效果，有效弥补主流配准方法的不足，即使对天空等特征不明显区域的全景拼接也具有较好的适用性与实时性，全面保证了全景视频成像的连续性与稳定性，对光电预警系统全景拼接任务具有重要的应用价值。
图像处理 全景拼接 三维球面模型 图像配准 光电预警系统 光学学报
2023, 43(10): 1010002
昆明理工大学机电工程学院，云南 昆明 650500
实时图像与标准图像高效配准是保证烟标质量检测效率的关键步骤之一。根据烟标的结构和印刷工艺，提出了一种单角区域配准方法。所提单角区域配准法包括粗配准和精配准两步：粗配准利用烟标的边界特征调整烟标在图像中的姿态和位置，并去除图像中的冗余像素；精配准利用单角区域中的特征点求出实时图像与标准图像之间的单应性矩阵，然后利用单应性矩阵完成配准。实验结果表明，所提单角区域配准方法在烟标图像的配准速度和效果上优于尺度不变特征变换、ORB和AKAZE算法，能满足烟标质量检测的实时性要求。
图像处理 数字图像处理 图像配准 单角区域特征 烟标 激光与光电子学进展
2023, 60(2): 0210007
1 广东工业大学信息工程学院, 先进光子技术研究院, 广东 广州 510006
2 广东省信息光子技术重点实验室, 广东 广州 510006
近年来, 图像采集设备的高速发展极大地丰富了图像种类和数量。图像配准技术作为图像分析和处理的关键, 在图像融合、模式识别和计算机视觉等领域作用日益重要, 如何实现高精度、实时配准已成为该领域的研究重点。与此同时, 深度学习技术发展迅速, 卷积神经网络在图像表示、特征提取等方面显示出独特优势。本文系统综述了基于深度学习技术实现图像配准的相关研究进展, 深入讨论了基于深度迭代配准、全监督图像配准、弱/双重监督图像配准、无监督图像配准等典型的深度学习的图像配准方法, 总结了相关领域研究人员所面临的共同挑战, 并指出了未来可能的研究方向。
图像处理 图像配准 深度学习 卷积神经网络 image processing image registration deep learning convolutional neural network
北方夜视科技研究院集团有限公司, 云南昆明 650223
头盔夜视仪由单波段向多波段图像融合的方向发展。本文对基于微光头盔观察、悬挂式红外夜视仪的技术方案、图像配准精度进行分析并进行光学仿真。首先分析悬挂式红外夜视仪与微光头盔组合使用的工作模式以及图像旋转、圆形视场的设计方案；其次根据悬挂式红外夜视仪的设计指标, 对其红外物镜及投影物镜进行光学仿真；第三从悬挂精度、光轴一致性及畸变等三方面分析图像配准精度；最后根据仿真结果及图像配准精度分析说明基于微光头盔观察、悬挂式红外夜视仪的技术方案可行, 能达到预期的效果。
投影物镜 红外物镜 图像融合 图像配准 悬挂式 红外夜视仪 projection lens infrared lens image fusion image registration suspended infrared night vision
红外与激光工程
2022, 51(6): 20210950
