1 宁波大学信息科学与工程学院，浙江 宁波 315211
2 宁波大学医学院，浙江 宁波 315211
3 宁波市海曙区第二医院，浙江 宁波 315099
4 宁波大学附属第一医院，浙江 宁波 315000
在检测侧面脊柱关键点时，由于受到器官遮挡的影响，以往的热图回归方法难以区分不同椎骨上的关键点，容易出现关键点与对应椎骨的匹配错误。为了解决这个问题，提出了一个新的单阶段侧面脊柱关键点检测方法，该方法同时预测关键点热图和关键点匹配线索（椎骨中心热图和关键点offset），利用匹配线索建立关键点与对应椎骨的匹配关系。为了提升匹配效果，提出几何感知特征增强模块，通过提取关键点特征增强椎骨中心的特征表达。此外，利用加权损失函数缓解关键点热图和椎骨中心热图中正负样本比例失衡问题。实验结果表明，所提方法的平均检测误差为8.84，相较于性能第二的方法精度提升36%。
医用光学 关键点检测 卷积网络 可变形卷积 脊柱侧弯 激光与光电子学进展
2024, 61(4): 0417001
1 中国科学院 微小卫星创新研究院，上海 201203
2 中国科学院大学，北京 100049
3 中国科学院 空天信息创新研究院，北京 100049
传统的单目姿态估计算法采用卷积网络在图像中定位若干关键点，再基于2D-3D匹配技术估计目标的姿态，但卫星上的关键点分布较分散，卷积网络由于其受限的感受野导致关键点的定位精度低，影响后续姿态估计的精度。此外传统流程需要人工标注关键点位置和目标的掩膜，标注成本高。为了解决传统方法感受野受限问题，在卷积网络中引入自注意力机制，赋予其全局建模能力，提高了关键点的定位精度。为了改善传统方法需要大量人工标注的问题，通过空间雕刻，重构了目标的点云，再将点云重投影回像素平面，自动化获取所需标签，省略了人工标注过程，提高了算法实用性。实验结果表明：所提算法在SPEED数据集上进行验证，关键点定位精度为92%，姿态平移误差为0.236%，姿态旋转误差为9.8610-3弧度，在简化算法复杂度的同时提升了精度。可以有效应用于航天器之间的相对姿态估计。
计算机视觉 姿态估计 关键点检测 自注意力 空间雕刻 computer vision pose estimation landmark localization self-attention space carving
红外图像中的人体摔倒检测不受环境光照射的影响, 在智能安防领域有着重要的研究意义和应用价值。现有的摔倒检测方法没有充分考虑人体关键点的位置变化规律, 容易对类摔倒动作造成误检。针对这一问题, 本文提出一种基于改进 Alphapose的红外图像摔倒检测算法。该算法使用 Yolo v5s目标检测网络, 在提取人体目标框输入姿态估计网络的同时, 对人体姿态进行直接分类, 再结合人体骨架关键点的位置信息和姿态特征进行判断。通过实验证明, 该算法在准确度和实时性方面都有良好的表现。
红外图像 摔倒检测 关键点 目标检测 infrared images, fall detection, key points, objec
甘肃同兴智能科技发展有限责任公司，甘肃兰州 730046
在传感器无法满足相关条件的情况下，变电站机器人巡视轨迹的点云数据不能准确匹配，为此提出红外图像特征融合下变电站机器人巡视轨迹三维点云配准方法。提取机器人运动方向梯度直方图和局部自相似描述两种特征，即 HOG特征和 LSS特征，并采用多特征自适应融合方法融合两种特征，并通过三维点云初步配准获取融合后轨迹特征的关键点和最佳的目标轨迹位姿参数，采用优化的迭代最近点算法精配准巡视轨迹，提升巡视轨迹位姿配准结果。实验结果表明：所研究方法特征融合效果良好，能够提升图像的边缘清晰程度，融合后偏差指数均低于 0.2，准确完成不同大小图像中关键点的配准，并且配准后的巡视轨迹与期望轨迹吻合程度较高。
红外图像 特征融合 变电站机器人 巡视轨迹 三维点云配准 关键点 infrared image, feature fusion, substation robot,
天津大学精密测试技术及仪器国家重点实验室，天津 300072
提出一种新型的关键点距离表征学习网络，该网络利用位姿变换过程的几何不变性信息，在网络中引入距离量的估计，进而推导出稳健关键点，以此来提升基于深度学习的六自由度物体位姿估计方法的精度。所提方法包含两个阶段。首先，设计了关键点距离表征网络，通过一种骨干网络模块和特征融合结构实现RGB-D图像特征提取，并结合多层感知机预测物体逐点相对于关键点的距离量、语义和置信度。其次，根据可视点投票法及四点距离定位法，利用网络输出的多维信息推理计算关键点坐标，并最终通过最小二乘拟合算法得到物体位姿。为了证明所提方法的有效性，在公开数据集LineMOD和YCB-Video上进行了测试，实验结果表明，所提方法相比于原PSPNet框架中的ResNet参数量减少一半且精度有所提升，在两个数据集上精度分别提升了1.1个百分点和5.8个百分点。
机器视觉 六自由度位姿估计 深度学习 关键点距离表征网络 特征提取 激光与光电子学进展
2023, 60(16): 1615008
1 中国科学院光束控制重点实验室, 成都 610209
2 中国科学院光电技术研究所, 成都 610209
3 中国科学院大学, 北京 100049
针对现有单人姿态估计网络结果缺乏可靠性评估和鲁棒性保障等问题, 提出了一种基于偶然不确定性的测试时增强方法。该方法首先利用随机并行的数据增强和模型推理得到多样化输出, 随后通过计算该输出的偶然不确定性得到其可靠性评估, 最后根据可靠性将该输出及其不确定性进行加权融合以得到更准确鲁棒的结果及其评估。在MPII数据集上的实验表明, 该算法可即插即用地应用于任意现有单人姿态估计网络, 从而得到更精确鲁棒的结果及其不确定性评估。
单人姿态估计 关键点检测 偶然不确定性 测试时增强 single human pose estimation key points detection aleatoric uncertainty testing-time-augmentation
1 西安石油大学，陕西 西安 710065
2 青海民族大学物理与电子信息工程学院，青海 西宁 810007
当前的动态目标识别方法在场景复杂的图像中，因为无法采集足够多的特征信息，导致识别结果应用性受限。基于三维激光点云提出一种运动图像动态目标识别方法。利用三维扫描系统获取运动点云图像特征，在不影响有效信息采集的情况下，进行图像预处理；引入地平面方程，将图像背景点云与被识别目标点云通过欧式聚类法分割，提取处理后的被识别目标关键点，并采用Freeman链码检测边缘特征，完成运动图像动态目标识别。试验对比结果表明，所研究基于三维激光点云的运动图像动态目标识别方法，对动态目标有良好的鉴别能力及较好的识别精度，且所需动态目标识别时间较短。
动态目标识别 三维扫描系统 点云图像 图像预处理 关键点提取 边缘特征检测 dynamic target recognition three-dimensional scanning system point cloud image image preprocessing key point extraction edge feature detection
1 上海交通大学机械与动力工程学院，上海 200240
2 上海智能网联汽车技术中心有限公司，上海 201499
复杂交通场景下的3D目标检测是重要且具有挑战性的任务。针对主流检测算法使用的高线数激光雷达昂贵和基于毫米波雷达和相机的检测算法效果不佳的问题，提出了一种利用低线数激光雷达和相机实现3D目标检测的算法，可以大幅降低自动驾驶的硬件成本。首先，将64线激光雷达点云降采样至原始点云数量的10%，生成极端稀疏点云，并将其和RGB图片一同输入到深度补全网络中得到深度图；然后，在新提出的计算点云强度的算法基础上，由深度图生成点云俯视图；最后，将点云俯视图输入检测网络，得到目标立体边界框的几何信息、航向角和类别等信息。在KITTI数据集上对算法进行实验验证，实验结果表明所提算法在检测精度上可以超过部分基于高线数激光雷达的检测算法。
遥感 激光点云 卷积神经网络 关键点检测 深度学习 激光与光电子学进展
2022, 59(18): 1828004
1 山东科技大学测绘与空间信息学院，山东 青岛 266590
2 交通运输部公路科学研究所，北京 100088
针对车载移动测量系统不同时期获取的道路场景点云位置一致性差、车载激光点云与固定站激光点云坐标基准不统一的问题，本团队提出了一种利用地理实体目标特征的道路场景激光点云配准方法。首先分析道路场景激光点云的数据特点，结合高程误差趋势和道路场景地物的分布特征对车载点云进行分段，分割条带分布的车载道路点云为连续分布的小范围分段点云；然后提取固定地理实体目标作为配准基元，以降低场景的复杂度；接着结合特征值与形状指数构建特征约束，提取配准基元的多尺度关键点；最后在关键点约束下应用4PCS和双向KD树改进的ICP算法，完成多期道路车载激光点云的配准以及固定站与车载点云的配准。实验结果表明：多期车载点云配准精度在5 cm范围内，固定站与车载点云的配准精度最高可达到4.2 cm。所提方法为道路场景激光点云的高精度融合提供了实现途径。
遥感 道路场景 多期车载点云 固定站点云 配准基元 关键点约束 点云配准 中国激光
2022, 49(18): 1810002
