东北石油大学计算机与信息技术学院,黑龙江 大庆 163318
针对目前基于点云的三维目标检测算法中小目标检测效果差的问题,提出了基于改进PointPillars模型的三维目标检测方法。首先,改进了PointPillars模型中的pillar特征网络,提出了一个新的pillar编码模块,在编码网络中引入了平均池化和注意力池化,充分考虑了每个pillar模块的局部详细几何信息,提高了每个pillar模块的特征表示能力,从而提升了模型的小目标检测性能。其次,基于ConvNeXt改进了骨干网络中的二维卷积下采样模块,使模型在网络特征提取阶段能够提取丰富的上下文语义信息和全局特征,从而增强了算法的特征提取能力。在公开数据集KITTI上进行验证,实验结果表明,所提方法具有更高的检测精度,相较于原网络,改进后的算法的平均检测精度提升了3.63个百分点,证明了该方法的有效性。
三维目标检测 PointPillars 小目标检测 注意力池化 ConvNeXt 激光与光电子学进展
2024, 61(8): 0812007
1 厦门理工学院 电气工程与自动化学院,福建 厦门 361024
2 中国科学院 福建物质结构研究所,福建 福州 350108
3 中国科学院 海西研究院 泉州装备制造研究中心,福建 泉州 362000
4 厦门市高端电力装备及智能控制重点实验室,福建 厦门 361024
激光雷达数据由于其几何特性,被广泛应用于三维目标检测任务中。由于点云数据的稀疏性和不规则性,难以实现特征提取的质量和推理速度间的平衡。本文提出一种基于体柱特征编码的三维目标检测算法,以Pointpillars网络为基础,设计Teacher-Student模型框架对回归框尺度进行蒸馏,增加蒸馏损失,优化训练网络模型,提升特征提取的质量。为进一步提高模型检测效果,设计定位引导分类项,增加分类预测和回归预测之间的相关性,提高物体识别准确率。本网络所做改进没有引入额外的网络嵌入。算法在KITTI数据集上的实验结果表明,相比于基准网络,在三维模式下的平均精度值从60.65%提升到了64.69%,鸟瞰图模式下的平均精度值从67.74%提升到70.24%。模型推理速度为45 FPS,在提升检测精度的同时满足了实时性要求。
激光点云 三维目标检测 知识蒸馏 分类置信度 laser point cloud 3D object detection knowledge distillation classification confidence
湘潭大学自动化与电子信息学院,湖南 湘潭 411105
快速识别和精准定位周围目标是自动驾驶车辆安全、自主行驶的前提和基础。针对基于体素的点云三维目标检测方法识别与定位不准的问题,提出一种基于改进SECOND算法的点云三维目标检测算法。首先,在二维卷积骨干网络中引入自适应的空间特征融合模块融合不同尺度的空间特征,提高模型的特征表达能力。其次,充分利用边界框参数之间的关联性,采用three-dimensional distance-intersection over union(3D DIoU)损失作为边界框的定位回归损失函数,使得回归任务更加高效。最后,同时考虑候选框的分类置信度和定位精度,通过一个新的候选框质量评价标准,获得更平滑的回归结果。在KITTI测试集的实验结果表明,所提算法的3D检测精度优于许多以往的算法,与基准算法SECOND相比,在简单难度下的car类和cyclist类分别提高2.86百分点和3.84百分点,中等难度下分别提高2.99百分点和3.89百分点,困难难度下分别提高7.06百分点和4.27个百分点。
自动驾驶 三维目标检测 特征融合 损失函数 激光与光电子学进展
2024, 61(8): 0811005
民航自助行李托运系统需自动检测行李加装托盘的情况。针对已装载行李的遮挡托盘目标检测问题,提出一种基于多层骨架模型的行李托盘快速检测算法。为准确描述托盘特征,通过空托盘的三维点云模型,构建托盘的边框骨架模型与平面点线模型。在线检测时,首先,采用设计的带状特征描述和提取方法,抓取托盘边框点云,并采用提出的点线引力势能自适应迭代算法,实现平面点线模型的快速粗配准,完成托盘判别。然后,在粗配准的位姿约束下,采用基于随机采样一致性的点云迭代最近点配准,实现边框骨架模型和点云模型的精确配准,得到托盘的精确位姿。大量实际行李托盘检测的对比试验验证了算法的有效性,在托盘遮挡70%以内时,仍可保持94%的正确率,检测速度超过典型算法的6倍以上。
图像处理 三维目标检测 行李托盘 骨架模型 点云配准 激光与光电子学进展
2024, 61(4): 0437004
1 北京理工大学光电学院,北京 100081
2 北京理工大学光电成像技术与系统教育部重点实验室,北京 100081
3 北京理工大学重庆创新中心,重庆 401135
近年来,随着深度传感器和三维激光扫描设备的普及,点云数据引起了广泛关注。相对于二维图像,点云数据不仅包含场景的深度信息,还不受光照等环境因素的影响,能够更精确地实现目标识别和三维定位。因此,基于点云的三维目标检测技术已经成为智能空间感知和场景理解的关键技术。本文首先介绍了点云数据的特点,并探讨了不同类型的点云特征提取方法;其次,详细阐述了基于体素、点、图以及体素与点混合的点云目标检测方法的原理和发展历程;然后,介绍了常见的室内外点云目标检测数据集和评价指标,并对各类点云目标检测方法在KITTI和Waymo数据集上的性能进行了详细的比较和分析;最后,对点云目标检测技术的研究进展进行了总结和展望。
点云 三维目标检测 单模态 多模态 光学学报
2023, 43(15): 1515001
上海工程技术大学电子电气工程学院,上海 201620
针对汽车自动驾驶时通过激光雷达进行三维目标检测时识别结果不准确、目标朝向检测偏差较大的问题,提出一种基于改进PointPillars的激光雷达三维目标检测方法。首先,基于Swin Transformer改进PointPillars的二维卷积降采样模块,使得网络特征提取阶段能够使用自注意力机制来丰富上下文语义并获取全局特征,增强算法的特征提取能力。其次,利用点云立柱的特性将点云的地面部分去除,降低冗余点云的影响,从而提高三维目标检测的识别精度。在公开数据集KITTI上进行的验证实验结果表明:所提方法具有更高的检测精度,相较于原PointPillars,平均检测精度提升了1.3个百分点,验证了该方法的有效性。
遥感 深度学习 三维目标检测 激光雷达 Transformer 激光与光电子学进展
2023, 60(10): 1028012
胡杰 1,2,3,*安永鹏 1,2,3徐文才 1,2,3熊宗权 1,2,3刘汉 1,2,3
1 武汉理工大学现代汽车零部件技术湖北省重点实验室,湖北 武汉 430070
2 武汉理工大学汽车零部件技术湖北省协同创新中心,湖北 武汉 430070
3 武汉理工大学湖北省新能源与智能网联车工程技术研究中心,湖北 武汉 430070
提出一种高性能的基于深度语义和位置信息融合的双阶段三维目标检测(DSPF-RCNN)算法。在第一阶段提出深度特征提取-区域选取网络(DFE-RPN),使网络在俯视图中能够提取目标更深层次的纹理特征和语义特征。在第二阶段提出逐点语义和位置特征融合(ASPF)模块,使网络能够自适应地提取目标最有差异性的特征,增强中心点在特征提取时的聚合能力。算法在KITTI数据集上进行测试,结果显示,测试集中Car类目标在Easy、Moderate和Hard水平的检测精度均优于现有的主流算法,检测精度分别为89.90%,81.04%和76.45%;验证集中Car和Cyclist类目标在Moderate水平的检测精度分别为84.40%和73.90%,相对于主流算法提升了4%左右,推理时间为64 ms。最后将算法部署在实车平台上实现了在线检测,验证了其工程价值。
遥感 自动驾驶 激光雷达 三维目标检测 特征融合 中国激光
2023, 50(10): 1010003
1 中国科学院 长春光学精密机械与物理研究所,吉林 长春 130033
2 中国科学院大学,北京 100049
基于激光雷达点云数据的三维目标检测算法受制于数据量大,无法实现速度与准确率的平衡。本文提出一种改进的三维目标检测算法Pillar RCNN。首先将目标点云空间划分为体素格,使用一种基于稀疏卷积的三维主干网络将体素格逐步转化为立柱体素,三维信息量化为致密的二维信息。然后使用二维主干网络提取特征,同时将三维骨干网络中不同尺度的体素特征与二维主干网络通过多尺度体素特征聚合模块进行特征级联,通过损失函数进一步细化检测框。算法在KITTI公开数据集上进行测试,在RTX 2080Ti硬件平台上识别速度为2.48 ms。汽车、行人、自行车3种类别的检测效果同PointPillars基准算法相比较,其中自行车中等难度检测效果提升13.34%,困难难度的车检测效果提升8.85%,其他类别的检测准确率指标也有所提升,实现了速度与准确率的平衡。
计算机视觉 三维目标检测 体素 稀疏卷积 特征聚合 computer vision 3D detection voxel sparse convolution feature aggregation