1 北京信息科技大学仪器科学与光电工程学院，北京 102206
2 北京信息科技大学光电测试技术及仪器教育部重点实验室，北京 102206
光学相干层析成像（OCT）是一种高空间分辨率的光学成像方法，可以对生物组织进行非接触、无标记的二维截面和三维体积成像，能为临床疾病的诊断提供具有重要参考价值的影像信息。在传统的台式OCT系统中，扫描探头被固定在工作台上，探头结构较大，灵活性差，不利于深入狭小腔体内部成像或在床旁检测。本团队设计了一种视频引导的手持式高速OCT系统，其手持探头结构紧凑、体积小巧，便于抓取和深入狭小腔体内部；探头内部集成了相机成像功能，可以实时获得成像区域的视频图像，引导OCT成像。该系统的A线扫描速率可以达到200 kHz。为了克服成像过程中的抖动问题，本团队提出了图像自动配准算法，该算法能显著提高图像质量。采用该系统对离体猪眼角膜和离体猪牙齿进行成像，以验证系统的性能。结果显示该系统能够高速获取高分辨的组织图像。
医用光学 光学相干层析成像 手持探头 图像配准
针对单可见光或单红外条件下的IC器件表面缺陷对比度不足，缺陷检测精度低的问题，提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题，引入拉普拉斯金字塔和特征描述符重组策略改进ORB（Oriented FAST and Rotated BRIEF）图像配准算法。在图像配准的基础上，提出NSST_VP图像融合方法，以非下采样剪切波变换（Non-Subsample Shearlet Transform， NSST）得到红外图像和已配准可见光图像的低频和高频子带，对低频子带采用视觉显著图（Visual Significance Map， VSM）加权融合规则，高频子带则采用自适应脉冲耦合神经网络（PA- Pulse Coupled Neural Network， PA-PCNN）决策融合规则，进而通过NSST逆变换得到高质量多光谱融合图像。最后，将融合图像输入YOLOv8s模型进行检测。实验结果表明，改进ORB的图像配准平均精度为87.8%，比ORB图像配准精度提高了62%，NSST_VP图像融合算法在主观视觉效果和客观评价指标上均有所提高。在缺陷检测实验中，NSST_VP融合方法的均值平均精度（mean Average Precision， mAP）达到83.15%，比单可见光、单红外缺陷图像检测的mAP分别提高了22.97%，28.31%，比双树复小波变换融合、曲线变换融合、非下采样轮廓波变换融合方法的mAP分别提高了13.14%，15.01%，20.35%。
缺陷检测 IC器件 多光谱图像融合 图像配准 非下采样剪切波变换 YOLOv8s defect detection IC device multispectral image fusion image registration non-subsample shearlet transform YOLOv8s
1 南京航空航天大学机电学院，江苏 南京 210016
2 中航西安飞机工业集团股份有限公司，陕西 西安 710089
提出一种基于多点的虚实注册方法。首先，设计一种手持式靶标探针，根据飞机零部件上的典型特征设计了不同的探针测头，并采用单目相机对探针进行标定，标定出测头尖点相对靶标的位置。然后，在虚实注册过程中在三维模型上设置几个点，借助靶标探针测量真实零件上对应的几个点，利用奇异值矩阵分解法，求解出增强现实设备虚实映射空间中三维模型到真实零件的刚体变换，根据此变换即可实现虚实配准。最后，选取3 m×1.4 m×0.5 m尺寸范围内的机翼为验证对象，采用所设计的靶标探针验证其虚实配准精度，并分析注册时点的数量与布局对虚实注册精度的影响。实验结果表明，所提方法可以实现大尺寸零部件整体较高的虚实配准精度。
测量 飞机装配 增强现实 虚实配准 探针标定 多点注册
民航自助行李托运系统需自动检测行李加装托盘的情况。针对已装载行李的遮挡托盘目标检测问题，提出一种基于多层骨架模型的行李托盘快速检测算法。为准确描述托盘特征，通过空托盘的三维点云模型，构建托盘的边框骨架模型与平面点线模型。在线检测时，首先，采用设计的带状特征描述和提取方法，抓取托盘边框点云，并采用提出的点线引力势能自适应迭代算法，实现平面点线模型的快速粗配准，完成托盘判别。然后，在粗配准的位姿约束下，采用基于随机采样一致性的点云迭代最近点配准，实现边框骨架模型和点云模型的精确配准，得到托盘的精确位姿。大量实际行李托盘检测的对比试验验证了算法的有效性，在托盘遮挡70%以内时，仍可保持94%的正确率，检测速度超过典型算法的6倍以上。
图像处理 三维目标检测 行李托盘 骨架模型 点云配准 激光与光电子学进展
2024, 61(4): 0437004
天津大学精密测试技术及仪器国家重点实验室，天津 300072
针对传统装配方法面向平面弱几何轮廓结构的工件装配任务表现出的数据配准成功率低、位姿控制精度不足的问题，提出一种基于平面点云配准与相对位姿控制的工业件装配方法。首先通过双目结构光传感器重建出工件点云信息，应用RANSAC-ICP算法对重建结果进行配准，并结合平面法向量特征与最大距离关系进行纠正，从而实现精准点云配准。然后，提出基于相对位姿关系的机械臂控制方法，省略了对工具坐标系的标定，直接利用相对位姿控制机械臂运动，并将相对位姿误差结果作为控制系统误差的评价标准，从而实现可靠装配。最后，在真实测试场景下使用大型工业机械臂进行实验。结果表明，所提方法较传统装配方法装配成功率提升85个百分点，自动化装配精度优于0.5 mm，即该方法可以有效解决平面工件装配问题。
机器视觉 点云配准 机械臂 装配 工业场景 相对位姿估计 激光与光电子学进展
2024, 61(4): 0415001
1 西安工业大学 光电工程学院，陕西 西安 710021
2 西安工业大学 计算机科学与工程学院，陕西 西安 710021
为了解决单色视频和彩色视频的全自动高精度配准问题，设计了针对视频配准的首帧及后续帧配准方法，在保证配准速度的同时提高了配准精度。对于首帧，首先在尺度不变特征变换（SIFT）基础上，基于双摄像头的特点进行了改进，进而对单色视频和彩色视频进行了粗配准，增加了粗配准矩阵的获取稳定性和精确性；随后根据粗配准矩阵系数，使用尺度金字塔模式对单色视频和彩色视频的配准矩阵进行了配准修正。对于视频中的后续帧，采用具有步长金字塔的平移修正方法，对首帧中得到的修正配准矩阵进行再利用，并通过平移修正方法弥补了由不确定时差波动和相机摆动带来的平移误差，最终提高了单色视频和彩色视频的配准效率和配准精确度。实验结果表明，对于640×480大小的单色视频和彩色视频，本文算法相比传统SIFT算法将首帧配准均方根误差减少了0.79%，首帧标记点误差由约为1像素缩小到不可察，且连续视频帧的平均配准时间为0.357 s，同时仍然保持标记点误差不可察，较好地满足了单色视频和彩色视频配准的全自动、精度高、速度快、鲁棒性强等要求。
计算机视觉 视频配准 时空相似性 高精度修正 computer vision video alignment spatio-temporal similarity high-precision correction
1 无锡学院自动化学院，江苏 无锡 214105
2 南京信息工程大学自动化学院，江苏 南京 210000
3 无锡学院轨道交通学院，江苏 无锡 214105
4 无锡学院电子信息工程学院，江苏 无锡 214105
针对迭代最近点(ICP)配准算法易陷入局部最优、迭代收敛速度慢等问题，提出基于内部描述子(ISS)特征点结合改进ICP点云配准算法，先对基准点云和待配准点云进行体素网格下采样，随后选用ISS算法提取特征点，采用点特征直方图(FPFH)对特征点进行特征描述，并寻找两片点云特征点的对应点对，之后利用随机采样一致性算法(RANSAC)算法去除错误对应点对，最后对已有良好初始位姿的两片点云采用基于Nanoflann加速的点到平面ICP算法进行精配准，将配准精度和配准效率进一步提高。试验结果表明，该算法比传统ICP算法迭代次数减少，在精度与速度方面均有显著提升；比尺度不变特征(SIFT)的ICP算法在欧氏适合度评分和配准用时上分别平均减少了64.4%和73.75%。
点云配准 点到平面的ICP point cloud registration ISS ISS point-to-plane ICP Nanoflann Nanoflann
1 中国科学院 国家空间科学中心，北京 100190
2 中国科学院大学，北京 100049
3 辽宁大学 物理学院，辽宁 沈阳 110036
针对时间飞行(TOF)获取的三维点云数据噪声点多、有效目标在点云中所占比例较小的问题，提出一种适用于TOF 点云数据的基于强度特征匹配的迭代最近点配准算法。首先使用强度特征进行有效区域提取，然后对有效区域进行配准，最后使用有效区域的变化矩阵对整个点云数据进行配准。实验结果表明，该方法能在不影响配准速度的情况下，有效提高真实点云配准的精确度。
点云配准 时间飞行 强度信息 迭代最近点 point cloud registration Time Of Flight intensity information Iterative Closest Point (ICP) 太赫兹科学与电子信息学报
2023, 21(6): 838
1 国防科技大学电子科学学院湖南长沙 410073
2 国防科技大学气象海洋学院湖南长沙 410073
迭代最近点法(ICP)及其变体是三维点云刚性配准的典型方法, 但此类通过迭代计算逐点距离矩阵实现点云配准的方式, 严重制约了点云的配准效率。本文提出一种快速 ICP算法, 利用 Frobenius范数表示待配准的两幅点云之间的误差函数, 获得误差值最小点位置, 并对此位置进行奇异值分解, 从而得到旋转矩阵和平移向量, 极大压缩了迭代次数和配准时间。在 Standford数据集和 3DMatch数据集上进行试验, 与传统 ICP算法及其变体、3种基于学习的点云配准算法进行对比, 本文方法配准效率最优; 在达到相近的配准精确度时, 提出的快速 ICP方法的迭代次数仅为传统 ICP算法的 0.2倍, 在 Standford数据集上配准所需时间为传统 ICP算法的 1/4, 在 3D Match数据集上配准所需时间为传统 ICP算法的 1/8倍。本文提出的快速 ICP算法在数据量大的点云场景下, 具有更高的效率。
三维计算机视觉 点云数据处理 点云配准 快速迭代最近点法 Frobenius范数 奇异值分解 3D computer vision point cloud data processing point cloud registration fast iterative closest point method Frobenius norm Singular Value Decomposition(SVD) 太赫兹科学与电子信息学报
2023, 21(10): 1263
