采用空间投影的深度图像点云分割

郭清达; 全燕鸣

doi:doi:10.3788/AOS202040.1815001

光学学报, 2020, 40 (18): 1815001, 网络出版: 2020-08-28

采用空间投影的深度图像点云分割下载： 1177次

Depth Image Point Cloud Segmentation Using Spatial Projection

论文大纲

郭清达 ¹全燕鸣 ^2,*

作者单位

¹ 华南理工大学电子与信息学院, 广东广州 510641

² 华南理工大学机械与汽车工程学院, 广东广州 510641

机器视觉点云分割空间投影图像阈值 machine vision point cloud segmentation spatial projection image threshold

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

点云分割是点云处理的一个关键环节,其分割质量决定了目标测量、位姿估计等任务的精确与否。提出了一种采用空间投影的深度图像(RGB-D)点云分割方法,在分析了相机模型、RGB-D数据特征以及图像阈值与目标点云关系的基础上,建立靶标坐标系与点云区域的模型,进一步地结合靶标坐标系和图像阈值,把点云变换至靶标坐标系以突出目标区域、弱化背景区域,并用图像形态学处理所投影的像素值以及分割图像以获得所对应的点云区域。建立3种测试场景以获得3组不同的点云数据,采用4种方法对点云进行分割对比,其中采用空间投影的方法能获得较高的点云分割质量;对空间投影中的膨胀元素、数值与分割质量的关系进行测试分析,结果表明了采用空间投影的方法对RGB-D点云分割的有效性和可行性。

Abstract

Point cloud segmentation is a key step in point cloud processing, and its segmentation quality determines the accuracy of target measurement, pose estimation, and other tasks. This paper proposes a method of depth image (RGB-D) point cloud segmentation using spatial projection. Based on the camera model, RGB-D data characteristics, and the relationship between the image threshold and the target point cloud, a target coordinate system and point cloud regions are established. Further, based on the target coordinate system and the image threshold, the point cloud is transformed to the target coordinate system to highlight the target region and weaken the background region. Also, the projected pixel values are processed by image morphology and the corresponding point cloud region is obtained by segmenting the image. Finally, three test scenarios are established to acquire three different groups of point cloud data, and four methods are adopted to segment and compare point clouds. The spatial projection based method can obtain better point cloud segmentation quality. The relationship among the expansion element, numerical value, and segmentation quality is tested and analyzed. The results show that the spatial projection method is effective and feasible for RGB-D point cloud segmentation.

1 引言

目前,以立体成像技术为核心的立体相机获得了多样性发展,例如双目相机、单目结构光相机、TOF(time of flight)相机等,其获得的深度图像(RGB-D)是在RGB数据基础上融合了深度数据,在参考相机内参下深度图像可转化为点云数据。根据立体相机的三维数据重建感兴趣区域(ROI),目标区域表面信息和背景信息的数据是混合在一起的,这给后续目标的三维测量和分析处理带来了一定难度,因此采用点云分割技术进行目标区域和背景点云分离是必要的途径。

点云分割就是将数据分割成若干个互不相交的子集^[1]。点云分割的问题一般分为4类^[2]:1)具有人类视觉意义的形状确定;2)获取点云中与空间方位无关的几何特征;3)点云中各个形状边界的确定;4)具有一致性的分割结果。目前的点云分割方法分为两类,即传统方法和基于深度学习的方法。传统方法主要处理点与点之间的拓扑关系,一般有基于边、区域、混合、聚类、模型和图像分割等的方法^[2]。Besl和Jain^[3]基于曲率的符号组合将曲面分为8种不同类型的曲面元,以此为数据分割标准选取种子点进行周围区域点的判断。参考8种不同类型的曲面元, Koh等^[4]利用点云的多个特征构成特征向量,利用神经网络对特征向量进行聚类。Fischler和Bolles^[5]介绍了RANSAC(Random Sample Consensus)算法,该算法是一种鲁棒模型,可检测数学几何特征(如直线、圆、椭圆等)。目前也有针对特定场合的点云分割方案,对于多个板型物体混叠摆放场景的有序点云,鲁荣荣等^[6]设计了自顶向下和自底向上的分割策略,并采用弱连接连通区域进行断裂修正以获得分割结果。为了提高三维激光雷达中点云分割的实时性差和准确性不高的问题,范小辉等^[7]建立了深度图像和点云数据映射关系,剔除了地面数据后再进行聚类分割。

由于深度学习的各种网络架构的提出,用于图像领域中的识别定位分割获得了快速发展,可用于以往利用人工设置参数难以处理的复杂场景^[8]。近几年,以三维数据作为输入的神经网络也得到一定的发展,例如VoxNet、kd-Net、O-CNN等^[9-11],这些网络需要对点云进行体素化或较多设置。2017年Charles等^[12]提出采用深度学习直接处理原始点云的PointNet,开创性地统一了点云分类分割任务处理框架。为了解决点云的空间点顺序不敏感问题,PointNet对所有特征值使用最大池化操作,且为了解决点云空间旋转平移的问题,PointNet建立了T-net网络,将数据和特征对齐。Qi 等^[13]在PointNet基础上进行了改进,提出了多尺度组合(MSG)和多分辨率组合(MRG)的改进网络PointNet++(2017)。在点云分割方面,某些任务已经达到SOTA(state of the art)水平,但前期需要大规模样本的训练学习。

立体相机与激光雷达的不同之处在于拍摄场景信息所得的RGB-D数据具有物体表面的颜色纹理信息。不同于点云拓扑关系和深度学习的点云分割,本文介绍了一种采用点云空间投影的RGB-D点云分割技术,首先介绍采用图像阈值的点云分割和利用靶标世界坐标系的点云分割两种基础方法,将在世界坐标系中的靶标作为参考旋转点云,并将其投影至坐标系水平面(XOY)上,利用图像的形态学获得目标显著区域,进而获得目标点云数据。

2 图像阈值与点云关系模型

2.1 相机数学模型

摄像机数学模型采用小孔成像的原理,在笛卡儿空间中建立景物点与成像点之间的映射关系。令点P=(X_w,Y_w,Z_w)为像素p(u,v)投射在世界坐标系中的点,(u,v,1)是点p在像素坐标系中的齐次坐标;(X_w,Y_w,Z_w,1)是点P在世界坐标系中的齐次坐标。那么两个坐标的关系为

s_{p} = A_{p} [\begin{array}{l} R_{3 \times 3} & t_{3 \times 1} \\ 0 & 1 \end{array}] P^{T}, (1)

式中:A_p是内参数矩阵;[R_3×3t_3×1]是外参数矩阵;s_p是缩放因子。在张氏摄像机模型中,靶标的世界坐标系的Z_w轴设置为0。

2.2 图像阈值与点云的关系模型

RGB-D数据来自立体相机中RGB相机和Depth相机,由于相机空间视角不同,两组原始数据中RGB数值与深度数值不匹配。在标定立体相机的外参数后,建立RGB像素值与Depth数值两者之间的一一对应关系。采用图像阈值的点云分割基本思路:根据图像像素和点云的对应关系进行图像分割,获得目标区域点云。

设p_c(x_c,y_c,z_c)为相机坐标系中的点云,把点云进行z轴归一化处理,建立点云坐标与像素坐标的映射关系,即

\begin{array}{l} \{\begin{array}{l} x_{c 1}^{p} = x_{c} / z_{c} \\ y_{c 1}^{p} = y_{c} / z_{c} \end{array}, (2) \\ [u^{p} v^{p} {1]}^{T} = A_{p} {[x_{c 1}^{p} y_{c 1}^{p} 1]}^{T} 。 (3) \end{array}

对摄像机所采集的图像进行阈值分割处理,这里采用最大类间方差法,即

J_{roi} = \{\begin{array}{l} 1, J (u, v) > T \\ 0, J (u, v) \leq T \end{array}, (4)

式中:J_roi是阈值分割后的图像;J(u,v)是摄像机所采集的图像;T是Otsu算法得到的最优阈值。联合(2)~(4)式,根据图像目标阈值分割判断点云是否属于目标点云:

\begin{array}{l} if J_{roi} (u^{p}, v^{p}) = 1, \\ then p_{c} (x_{c}, y_{c}, z_{c}) is a target point 。 (5) \end{array}

根据三维点云与二维图像像素之间的非线性映射,点云像素坐标(u^p,v^p)与图像像素p(u,v)具有近似匹配关系,因此物体三维点云分割转化为二维图像的阈值分割。

3 采用空间投影的点云分割方法

3.1 建立靶标世界坐标系

立体相机中依据RGB相机和Depth相机的外参数,可以把Depth相机生成的点云转换到相机坐标系下。参考棋盘格建立世界坐标系。利用靶标世界坐标系可实现一定程度的点云分割,其基本思路是:由于场景三维点云的空间尺度与世界坐标系的空间尺度具有一致性,通过建立世界坐标系并确定待测物体在世界坐标系中的空间区域,可分割映射到世界坐标系里的点云。

如图1(a)所示,p_c(x_c,y_c,z_c)为相机坐标系中的点云,P_w(X_w,Y_w,Z_w)是世界坐标系中的点云,由(1)式可得

[X_{w} Y_{w} Z_{w} {1]}^{T} = {[\begin{array}{l} R_{3 \times 3} & t_{3 \times 1} \\ 0 & 1 \end{array}]}^{- 1} [x_{c} y_{c} z_{c} {1]}^{T} 。 (6)

如图1(b)所示,由于靶标板(标定板)所指定的坐标系相对于棋盘格角点所建立的世界坐标系有一定的偏移,这里采用补偿的方式进行坐标系校正。设靶标的厚度为Δz,世界坐标系原点在待测区域的X和Y轴的偏移分别为Δx和Δy,补偿偏移量Δl_3×1=[Δx Δy Δz]^T,则(6)式可进一步表示为

[X_{wl} Y_{wl} Z_{wl} {1]}^{T} = [\begin{array}{l} E_{3 \times 3} & Δ l_{3 \times 1} \\ 0 & 1 \end{array}] [X_{w} Y_{w} Z_{w} {1]}^{T}, (7)

式中:P_wl(X_wl,Y_wl,Z_wl)为偏移补偿后的点云坐标;E_3×3是单位矩阵。如图1(c)所示,为测量目标物在靶标坐标系中的区域V_roi,可手动测量或参考目标物模型:

\begin{array}{l} if P_{wl} (X_{wl}, Y_{wl}, Z_{wl}) \in V_{roi}, \\ then P_{wl} (X_{wl}, Y_{wl}, Z_{wl}) is a target point 。 (8) \end{array}

图 1. 靶标世界坐标系与点云区域。(a)世界坐标系;(b)目标坐标系;(c)目标有效区域确定

Fig. 1. Target world coordinate system and point cloud region. (a) World coordinate system; (b) target coordinate system; (c) determination of target effective region

下载图片查看所有图片

3.2 采用空间投影的点云分割方法

参考前述的图像阈值、靶标世界坐标系与点云区域的关系,为了突出目标区域以实现点云分割,可将点云的观测视角旋转至俯视角度(鸟瞰视角),如图2所示,这样可减少背景点云信息,使目标点云呈现更多信息,采用相机模型将点云投影至相机的图像像素。在得到旋转投影后场景的二维图像后,采用图像阈值分割的方法可快速地得到目标阈值范围,还原后得到场景分割的目标点云。

图 2. 视角变换的点云分割模型

Fig. 2. Point cloud segmentation model of perspective transformation

下载图片查看所有图片

参考(6)式得到世界坐标系中的点云P_wl(X_wl,Y_wl,Z_wl),将其变换到场景点云的俯视角时,有

\begin{array}{l} [x_{u} y_{u} z_{u} {1]}^{T} = [\begin{array}{l} {R^{u}}_{3 \times 3} & {t^{u}}_{3 \times 1} \\ 0 & 1 \end{array}] [X_{wl} Y_{wl} Z_{wl} {1]}^{T}, (9) \\ {R^{u}}_{3 \times 3} = [\begin{array}{l} cosπ & 0 & sinπ \\ 0 & 1 & 0 \\ - sinπ & 0 & cosπ \end{array}], (10) \\ {t^{u}}_{3 \times 1} = [Δ x Δ y Δ z + s], s = ‖ t_{3 \times 1} ‖_{2}, (11) \end{array}

式中:P(x_u,y_u,z_u)为转换视角后的点云; $R_{3 \times 3}^{u}$ 为转换视角的旋转矩阵; $t_{3 \times 1}^{u}$ 为旋转视角的平移矩阵;t_3×1为摄像机外参数的位移矩阵。

根据单目摄像机模型,可以得到点云对应的二值图像坐标为

\{\begin{array}{l} x_{u 1}^{p} = x_{u} / z_{u} \\ y_{u 1}^{p} = y_{u} / z_{u} \end{array} 。 (12)

根据(1)式进一步得到像素坐标满足

\begin{array}{l} [u^{u} v^{u} {1]}^{T} = A_{p}^{- 1} [x_{u 1}^{p} y_{u 1}^{p} {1]}^{T} 。 (13) \\ J [round ({v^{u}}_{\max}), round ({u^{u}}_{\max})] = 0, \\ if (x, y) \in (u^{u}, v^{u}), then J_{i} (x, y) = 1, (14) \end{array}

式中:J[round( ${v^{u}}_{\max}$ ),round( ${u^{u}}_{\max}$ )]为点云投影后的图像坐标空间;J_i(x,y)为点云投影后的有效像素坐标。感兴趣区域可表示为

J_{roi} (x, y) = \{\begin{array}{l} 1, (x, y) \in L_{\max} (J_{i}) \\ 0, others \end{array}, (15)

式中:L_max(J_i)为新生成二值图像的最大连通域。

\begin{array}{l} if J_{roi} [round (u^{u}), round (v^{u})] = 1, \\ then P_{u} (x_{u}, y_{u}, z_{u}) is target point 。 (16) \end{array}

4 结果对比

4.1 场景点云获取

为了验证算法的可行性,搭建系统硬件,如图3所示,系统包括靶标(尺寸规格:棋盘格角点数为5×7,方格大小为34 mm×34 mm)、双目摄像机(MER-500-7UM)、8 mm定焦镜头、投影仪(BenQ)和上位机[2.53 GHz Intel(R) Core (TM) 2 Duo CPU,2 GB RAM]。待测场景如图4(a)~(c)所示,RGB-D点云采用投影仪投射格雷码编码光栅和摄像机拍摄其光栅解码所得,其中包含1幅明、暗视场图像以及40幅正交格雷码编码光栅图像^[14]。建立三个层叠的米袋场景(场景1#、2#、3#),分别获取整个场景并分割其米袋区域点云数据。根据张氏标定方法建立的靶标坐标系,获得外参数矩阵[R_3×3t_3×1][参考(6)式],将三个场景点云映射到世界坐标系中,场景图片在靶标坐标系中的点云如图4(d)~(f)所示。

图 3. 硬件系统示意图

Fig. 3. Diagram of hardware system

下载图片查看所有图片

图 4. 三个场景图及其对应的点云图。(a)~(c)场景图;(d)~(f)点云图

Fig. 4. Three scene images and corresponding point clouds. (a)--(c) Scene images; (d)--(f) point clouds

下载图片查看所有图片

4.2 算法过程分析

利用图像阈值与点云关系实现点云分割,首先获得场景RGB图,利用标定参数进行径向与切向畸变校正,结果如图5(a)所示;利用最大类间方差法(Otsu)对校正后的场景图进行处理^[15],以突出感兴趣区域,结果如图5(b)所示。其次,对感兴趣区域中的空洞进行形态学处理,即空洞填充;建立点云坐标与图像像素坐标的映射关系,并判断所映射的点云是否在图像感兴趣区域里。最后分割出映射到感兴趣区域的点云数据,如图5(c)所示。

采用靶标坐标系与点云区域实现点云分割,首先测量并确定目标物体的待放置空间区域,把靶标板放置在待测量物体区域内,根据靶标板手工测量或设计的规格参数确定X轴偏移量Δx、Y轴偏移量Δy和靶标板厚度Δz。其次,在摄像机标定过程中,确定世界坐标系X轴和Y轴方向,如图5(d)所示;并利用(6)、(7)式把相对于摄像机坐标系的点云映射到依据靶标板所建立的世界坐标系中,如图5(e)所示。最后,利用参考测量限定目标物体放置区域,实现目标点云分割,如图5(f)所示。

在图像阈值和靶标世界坐标系的基础上可采用点云空间投影进行点云分割,首先测量并确定目标物体的待放置空间区域,把靶标放置在待测量物体的区域内,确定X轴偏移量Δx、Y轴偏移量Δy和靶标板厚度Δz。其次,在摄像机标定过程中,确定世界坐标系X轴和Y轴方向。利用(9)式把点云视角变换至场景俯视角度,利用(13)、(14)式把三维点云映射到二维图像中,如图5(g)所示。利用形态学对获得的二维图像进行膨胀处理,如图5(h)所示,利用连通域方法进行感兴趣区域图像分割,如图5(i) 所示。最后根据建立的点云与像素之间的映射关系,还原图像阈值分割所对应的点云区域,如图5(j)所示。

图 5. 场景1#点云分割。(a)校正后的图像;(b) Otsu阈值分割; (c)图像阈值分割的点云;(d)建立的世界坐标系;(e)补偿后的点云;(f)靶标坐标系分割的点云;(g)新2D图像;(h)膨胀后的图像;(i)分割后的感兴趣区域;(j)空间投影分割的点云

Fig. 5. Point cloud segmentation of scene 1#. (a) Corrected image; (b) Otsu threshold segmentation; (c) point clouds after image threshold segmentation; (d) established world coordinate system; (e) point clouds after compensation; (f) segmented point clouds in target coordinate system; (g) new 2D image; (h) dilated image; (i) segmented ROI image; (j) segmented point clouds by spatial projection

下载图片查看所有图片

4.3 结果对比分析

点云分割实验分别采用图像阈值分割(算法I)、靶标坐标系(算法II)、空间投影(算法III)以及与Halcon中的基于区域的方法(算法Ⅳ)进行对比分析,对不同算法的参考点云总数和分割后点云数进行对比,如表1所示。空间投影融合了靶标坐标系和图像阈值处理,其点云分割个数较佳,但其计算时间近似两者计算时间之和,算法Ⅳ采用C++加速算法等,其计算时间仅作参考,但其点云分割数量比其他3种方法多。

表 1. 4种方法分割的点云数量和算法耗费时间对比

Table 1. Comparison of numbers of segmented point clouds and execution time of four segmentation methods

Method	Scene	Number of original point clouds	Number of segmented point clouds	Execution time /s
	1#	379992	54141	7.4423
Algorithm I	2#	365184	57238	7.5082
	3#	357961	57164	7.7905
	1#	379992	58005	3.9285
Algorithm II	2#	365184	66678	3.8143
	3#	357961	90129	3.4935
	1#	379992	60104	11.1455
Algorithm III	2#	365184	66835	12.1834
	3#	357961	89881	11.8275
	1#	379992	20742	6.9992
Algorithm Ⅳ	2#	365184	40960	10.1463
	3#	357961	51990	9.3917

查看所有表

4种方法实现的点云分割(场景1#~3#的点云区域)结果如图6所示。利用图像阈值和点云映射关系实现的点云分割如图6(a)~(c)所示。立体相机的外参数误差和相机非线性映射关系等导致摄像机坐标系下的点云坐标与图像像素坐标的对应关系存在一定的误差。与此同时,点云分割密度直接受图像阈值分割好坏的影响,在场景复杂且感兴趣区域阈值分割较差的情况下,点云分割不理想。采用靶标世界坐标系和点云区域模型实现的点云分割如图6(d)~(f)所示。根据靶标坐标系的点云分割,需要测量感兴趣区域的物理空间区域和应用摄像机RGB图像建立相应的参考坐标系,根据测量目标区域范围可在不改变点云密度的情况下快速有效地分割出目标物点云。基于空间投影的点云分割方法,在目标物区域建立世界坐标系,利用坐标系变换改变目标物点云投射视角,以突出目标物的阈值特征,实现点云分割,如图6(g)~(i)所示。基于空间投影的点云分割结果边界清晰且质量较佳,但由于其融合图像阈值和靶标坐标系算法,其执行速度相对慢一些。Halcon视觉开发平台中基于区域的点云分割方法,采用点云三角化后,根据区域的点、直径、三角等结构元素数值选定点云区域,结果如图6(j)~(l)所示。

4种方法的测试中,基于图像阈值分割的方法受目标RGB图像分割结果的影响,基于靶标坐标系的方法受目标三维空间区域测量的影响,Halcon平台的目标点云区域选择受点云三角化和点云分布的影响,基于空间投影的方法受到视角变换后点云膨胀结构元素数值的影响,不同膨胀结构元素(square, disk, diamond)和膨胀结构元素数值下的分割结构如图7所示。后点云膨胀结构元素数值为0,表示此参数下的点云分割无效,且点云膨胀结构元素数值越大表示点云越接近目标对象。以square为结构元素,不同点云膨胀结构元素数值下的目标点云分割情况如图8所示,其实数值在5时点云分割效果已达到最佳。为了进一步验证算法对其他物体点云的适用性,这里对生活中常见的盒子、水壶、面罩、头枕分别进行了场景拍摄与目标点云分割,结果如图9所示。点云分割的结果显示,该算法能够较好地分割出目标物点云并对不同形状的物体具有一定的适应性。

图 6. 4种方法在三个场景下的点云分割结果对比。(a)~(c)算法I; (d)~(f)算法II; (g)~(i)算法III; (j)~(l)算法Ⅳ

Fig. 6. Comparison of point cloud segmentation results for three scenes obtained by four methods. (a)--(c) Algorithm I; (d)--(f) algorithm II; (g)--(i) algorithm III; (j)--(l) algorithm Ⅳ

下载图片查看所有图片

图 7. 不同结构类型与点云膨胀结构元素数值下的分割点云数

Fig. 7. Number of segmented point clouds under different structure types and point cloud expansion structural element values

下载图片查看所有图片

5 结论

点云分割是立体视角技术应用中的一个基础步骤,是影响目标测量、位姿估计等后续任务精确与否的一个关键因素。在相机模型和立体测量理论的基础上,分别分析了图像阈值、靶标坐标系与点云区域的关系,然后根据靶标坐标系与点云的关系建立一种场景点云视角变换以突出目标点云区域的方法,再结合图像形态学分析获得感兴趣点云区域。搭建单目结构光系统进行了三种测试,对比分析图像阈值分割、靶标坐标系分割和基于区域的分割这3种常见的分割方法(Halcon平台),结果表明采用空间投影得到的点云分割数量、质量较佳,并进一步地对空间投影中的碰撞元素数值与点云数量、质量进行了分析,结果表明了该方法的可行性。

图 8. 点云膨胀结构元素数值对点云分割的影响。(a)数值为3;(b)数值为4;(c)数值为5;(d)数值为6

Fig. 8. Influence of point cloud expansion structural element value on point cloud segmentation result. (a) Value is 3; (b) value is 4; (c) value is 5; (d) value is 6

下载图片查看所有图片

图 9. 针对不同物体的点云分割。(a)盒子;(b)水壶;(c)面罩;(d)头枕;(e)盒子点云;(f)水壶点云;(g)面罩点云;(h)头枕点云

Fig. 9. Point cloud segmentation of different objects. (a) Box; (b) kettle; (c) mask; (d) pillow; (e) point cloud of box; (f) point cloud of kettle; (g) point cloud of mask; (h) point cloud of pillow

下载图片查看所有图片

参考文献

[1] NguyenA, LeB. 3D point cloud segmentation: a survey[C]//2013 6th IEEE Conference on Robotics, Automation and Mechatronics (RAM), November 12-15, 2013, Manila, Philippines. New York: IEEE, 2013: 225- 230.

[2] 欧新良, 匡小兰, 倪问尹. 三维散乱点云分割技术综述[J]. 湖南工业大学学报, 2010, 24(5): 45-49.

Ou X L, Kuang X L, Ni W Y. Summarization on 3D scattered point cloud segmentation[J]. Journal of Hunan University of Technology, 2010, 24(5): 45-49.

[3] Besl P J, Jain R C. Segmentation through variable-order surface fitting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1988, 10(2): 167-192.

[4] KohJ, SukM, Bhandarkar SM. A multi-layer Kohonen's self-organizing feature map for range image segmentation[C]//IEEE International Conference on Neural Networks, March 28-April 1,1993, San Francisco, CA, USA, New York: IEEE, 1993: 4725511.

[5] Fischler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[6] 鲁荣荣, 朱枫, 吴清潇, 等. 一种板型物体混叠场景的快速分割算法[J]. 光学学报, 2019, 39(4): 0412003.

Lu R R, Zhu F, Wu Q X, et al. A fast segmenting method for scenes with stacked plate-shaped objects[J]. Acta Optica Sinica, 2019, 39(4): 0412003.

[7] 范小辉, 许国良, 李万林, 等. 基于深度图的三维激光雷达点云目标分割方法[J]. 中国激光, 2019, 46(7): 0710002.

Fan X H, Xu G L, Li W L, et al. Target segmentation method for three-dimensional LiDAR point cloud based on depth image[J]. Chinese Journal of Lasers, 2019, 46(7): 0710002.

[8] KrizhevskyA, SutskeverI, HintonG. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 26th Annual Conference on Neural Information Processing Systems 2012, December 3-6, 2012, South Lake Tahoe, NV, USA.Cambridge: MIT Press, 2012: 1097- 1105.

[9] KlokovR, LempitskyV. Escape from cells: deep kd-networks for the recognition of 3D point cloud models[C]//2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. New York: IEEE, 2017: 863- 872.

[10] Wang P S, Liu Y, Guo Y X, et al. O-CNN: octree-based convolutional neural networks for 3D shape analysis[J]. ACM Transactions on Graphics, 2017, 36(4): 72.

[11] RieglerG, Ulusoy AO, GeigerA. OctNet: learning deep 3D representations at high resolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE, 2017: 6620- 6629.

[12] Charles RQ, SuH, Mo KC, et al. PointNet: deep learning on point sets for 3D classification and segmentation[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE, 2017: 77- 85.

[13] Qi CR, YiL, SuH, et al. ( 2017-06-07)[2020-04-28]. org/abs/1706. 02413. https://arxiv.

[14] 武彦林, 全燕鸣, 郭清达. 基于局部单应性矩阵的结构光系统标定研究[J]. 科学技术与工程, 2016, 16(13): 186-189, 195.

Wu Y L, Quan Y M, Guo Q D. Research on calibration of structured light system based on local homography matrix[J]. Science Technology and Engineering, 2016, 16(13): 186-189, 195.

[15] Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66.

郭清达, 全燕鸣. 采用空间投影的深度图像点云分割[J]. 光学学报, 2020, 40(18): 1815001. Qingda Guo, Yanming Quan. Depth Image Point Cloud Segmentation Using Spatial Projection[J]. Acta Optica Sinica, 2020, 40(18): 1815001.

采用空间投影的深度图像点云分割下载： 1177次

1 引言

2 图像阈值与点云关系模型

2.1 相机数学模型

2.2 图像阈值与点云的关系模型

3 采用空间投影的点云分割方法

3.1 建立靶标世界坐标系

图 1. 靶标世界坐标系与点云区域。(a)世界坐标系;(b)目标坐标系;(c)目标有效区域确定

Fig. 1. Target world coordinate system and point cloud region. (a) World coordinate system; (b) target coordinate system; (c) determination of target effective region

3.2 采用空间投影的点云分割方法

图 2. 视角变换的点云分割模型

Fig. 2. Point cloud segmentation model of perspective transformation

4 结果对比

4.1 场景点云获取

图 3. 硬件系统示意图

Fig. 3. Diagram of hardware system

图 4. 三个场景图及其对应的点云图。(a)~(c)场景图;(d)~(f)点云图

Fig. 4. Three scene images and corresponding point clouds. (a)--(c) Scene images; (d)--(f) point clouds

4.2 算法过程分析

图 5. 场景1#点云分割。(a)校正后的图像;(b) Otsu阈值分割; (c)图像阈值分割的点云;(d)建立的世界坐标系;(e)补偿后的点云;(f)靶标坐标系分割的点云;(g)新2D图像;(h)膨胀后的图像;(i)分割后的感兴趣区域;(j)空间投影分割的点云

4.3 结果对比分析

表 1. 4种方法分割的点云数量和算法耗费时间对比

Table 1. Comparison of numbers of segmented point clouds and execution time of four segmentation methods

图 6. 4种方法在三个场景下的点云分割结果对比。(a)~(c)算法I; (d)~(f)算法II; (g)~(i)算法III; (j)~(l)算法Ⅳ

Fig. 6. Comparison of point cloud segmentation results for three scenes obtained by four methods. (a)--(c) Algorithm I; (d)--(f) algorithm II; (g)--(i) algorithm III; (j)--(l) algorithm Ⅳ

图 7. 不同结构类型与点云膨胀结构元素数值下的分割点云数

Fig. 7. Number of segmented point clouds under different structure types and point cloud expansion structural element values

5 结论

图 8. 点云膨胀结构元素数值对点云分割的影响。(a)数值为3;(b)数值为4;(c)数值为5;(d)数值为6

Fig. 8. Influence of point cloud expansion structural element value on point cloud segmentation result. (a) Value is 3; (b) value is 4; (c) value is 5; (d) value is 6

图 9. 针对不同物体的点云分割。(a)盒子;(b)水壶;(c)面罩;(d)头枕;(e)盒子点云;(f)水壶点云;(g)面罩点云;(h)头枕点云

Fig. 9. Point cloud segmentation of different objects. (a) Box; (b) kettle; (c) mask; (d) pillow; (e) point cloud of box; (f) point cloud of kettle; (g) point cloud of mask; (h) point cloud of pillow

Article Outline

关于本站 Cookie 的使用提示

全站搜索

采用空间投影的深度图像点云分割 下载： 1177次

1 引言

2 图像阈值与点云关系模型

2.1 相机数学模型

2.2 图像阈值与点云的关系模型

3 采用空间投影的点云分割方法

3.1 建立靶标世界坐标系

图 1. 靶标世界坐标系与点云区域。(a)世界坐标系;(b)目标坐标系;(c)目标有效区域确定

Fig. 1. Target world coordinate system and point cloud region. (a) World coordinate system; (b) target coordinate system; (c) determination of target effective region

3.2 采用空间投影的点云分割方法

图 2. 视角变换的点云分割模型

Fig. 2. Point cloud segmentation model of perspective transformation

4 结果对比

4.1 场景点云获取

图 3. 硬件系统示意图

Fig. 3. Diagram of hardware system

图 4. 三个场景图及其对应的点云图。(a)~(c)场景图;(d)~(f)点云图

Fig. 4. Three scene images and corresponding point clouds. (a)--(c) Scene images; (d)--(f) point clouds

4.2 算法过程分析

图 5. 场景1#点云分割。(a)校正后的图像;(b) Otsu阈值分割; (c)图像阈值分割的点云;(d)建立的世界坐标系;(e)补偿后的点云;(f)靶标坐标系分割的点云;(g)新2D图像;(h)膨胀后的图像;(i)分割后的感兴趣区域;(j)空间投影分割的点云

4.3 结果对比分析

表 1. 4种方法分割的点云数量和算法耗费时间对比

Table 1. Comparison of numbers of segmented point clouds and execution time of four segmentation methods

图 6. 4种方法在三个场景下的点云分割结果对比。(a)~(c)算法I; (d)~(f)算法II; (g)~(i)算法III; (j)~(l)算法Ⅳ

Fig. 6. Comparison of point cloud segmentation results for three scenes obtained by four methods. (a)--(c) Algorithm I; (d)--(f) algorithm II; (g)--(i) algorithm III; (j)--(l) algorithm Ⅳ

图 7. 不同结构类型与点云膨胀结构元素数值下的分割点云数

Fig. 7. Number of segmented point clouds under different structure types and point cloud expansion structural element values

5 结论

图 8. 点云膨胀结构元素数值对点云分割的影响。(a)数值为3;(b)数值为4;(c)数值为5;(d)数值为6

Fig. 8. Influence of point cloud expansion structural element value on point cloud segmentation result. (a) Value is 3; (b) value is 4; (c) value is 5; (d) value is 6

图 9. 针对不同物体的点云分割。(a)盒子;(b)水壶;(c)面罩;(d)头枕;(e)盒子点云;(f)水壶点云;(g)面罩点云;(h)头枕点云

Fig. 9. Point cloud segmentation of different objects. (a) Box; (b) kettle; (c) mask; (d) pillow; (e) point cloud of box; (f) point cloud of kettle; (g) point cloud of mask; (h) point cloud of pillow

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

采用空间投影的深度图像点云分割下载： 1177次