1 引言

激光雷达测量(LiDAR)是一种将激光测距、动态全球定位系统(GPS)差分以及惯性导航姿态测定高度集成的技术^[1]。LiDAR技术通过主动向目标发射激光脉冲来获取多种目标信息,例如点位信息、距离信息、目标反射物材质信息等^[2],对三维(3D)城市建模和城市规划、森林资源调查、灾害评估、变化检测等民用领域应用和目标识别、精确制导等**应用有着非常重要的作用。LiDAR点云数据应用的关键是LiDAR点云数据的分类。

LiDAR点云数据分类方法目前主要有两类:1)基于特征提取的分类方法。一般通过提取点云数据高程、强度、回波次数等信息,以及其他空间信息设计特征来进行分类。如吴军等^[3]提取了点云高程Z坐标(LH)、高程变化率(HV)、平面拟合误差(PFE)以及回波强度(LRI)4个特征,然后利用加权支持向量机(W-SVM)分类器进行分类。MacFaden等^[4]利用LiDAR高度数据生成了4个GLCM度量(即均匀性、对比度、熵和相关性),实现三种不同类别的土地覆盖分类。何曼芸等^[5]融合航空影像光谱特征与LiDAR点云几何特征对建筑物进行提取。程效军等^[6]利用颜色对点云的强度信息进行补充,提高点云的分类精度。2)机器学习的方法,训练分类器进行分类,常用的分类器包括随机森林、支持向量机(SVM)、Joint Boost和深度学习等。文献[ 7]在分析点云场景基础上,提取点云的26个几何特征,同时考虑一定空间先验信息利用Joint Boost实现场景分类。文献[ 8-9]将点云转化成体素网格,在体素网格上应用三维卷积神经网络进行点云分类和分割,然而点云体素网格表示由于点云数据的稀疏性和三维卷积的计算成本受到其体素分辨率限制,且体素网格表示会产生信息损失,分类精确度会受到影响。文献[ 10-11]将三维点云投影到二维(2D)图像中,应用2D卷积神经网络进行分类。Charles等^[12]提出了一种新型网络体系结构PointNet,直接使用原始点云作为输入而不将其转换为其他格式。

目前在利用深度学习对点云进行分类的研究中,对点云进行体素化或投影到2D图像处理会产生信息损失,直接将点云作为输入的PointNet网络在局部特征提取能力上稍弱。因此,本文在PointNet的基础上,对网络进行改进,提出构建多尺度邻域的深度神经网络模型,将不同尺度邻域提取的局部特征与PointNet提取得到的全局特征结合,增强网络对点云中点局部信息的利用,实现LiDAR点云数据大规模场景分类并提高分类精度。

2 算法描述

PointNet网络对点云局部特征描述能力稍弱,因此对PointNet网络进行改进,在PointNet网络基础上,增加多尺度网络结构提取点的局部特征,提高点云分类精度。算法以原始点云作为网络输入,通过三个不同尺度对点云中的每个点选取邻域,利用PointNet提取邻域特征作为每个点的局部特征,将不同尺度下的局部特征通过全连接层组合,并与PointNet从原始点云中提取的全局特征结合,最后返回每个点的分类结果。具体神经网络模型如图1所示,图中神经网络输入为点云三维坐标(x,y,z),T-net为空间变换矩阵预测网络,MLP为多层感知机,D、D'、D″为特征维数,C表示全连接层,max pool为最大池化层,最后输出为每个点的M个类别分数。

图 1. 多尺度特征与PointNet结合的深度神经网络模型

Fig. 1. Deep neural network model combining multiscale features with PointNet

下载图片 查看所有图片

2.1 PointNet

所提方法是在PointNet网络结构基础上对机载LiDAR点云数据进行分类的。PointNet是第一种直接处理无序点云数据的深度神经网络。一般情况下,深度神经网络要求输入信息具有规范化的格式,比如2D图像、时序性的语音等。而原始3D点云数据通常是空间中一些无序点集,假设某一个点云中包含N个3D点,每一个点用3D坐标(x,y,z)表示,即使不考虑遮挡、视角等变化,单就这些点的先后顺序排列组合,就有N!种可能。因此需要设计一个函数,使得函数值与输入数据的顺序无关。实际上,在代数组合学中,这类函数称为对称函数。PointNet中,使用max pooling层作为主要对称函数,这种处理虽然简单,但是实验证明效果较好。PointNet网络表示为

f(x1,x2,…,xn)=γmaxi=1,…,nhxi)],(1)

式中:x₁,x₂,…,x_n是输入的无序点云;x_i∈R^d,R表示实数,d表示维度;n表示输入的点的数量;x_i表示输入点云中的第i个点;f为连续集函数,将一组点映射到一个向量;γ和h都是连续函数,代表了多层感知机(MLP)网络。(1)式中连续集函数f对输入点的排列不变,并且可以近似任意连续集函数,输入点中少量的噪声点对函数值没有影响。

图2是PointNet网络架构,输入是包含N个点的3D点云的3D坐标(N×3) , 原始数据通过一个3D空间变换矩阵预测网络 T-net(3),估计出3×3的变换矩阵T(3)并作用在原始数据上,实现数据的对齐。对齐后的数据以点为单位,通过一个共享参数的MLP模型(64,64)进行特征提取。每个点提取出64维特征,再通过特征空间变换矩阵预测网络 T-net(64)预测64×64变换矩阵,作用到特征上,实现特征的对齐。然后继续利用三层感知机(64,128,1024)进行以特征点为单位的特征提取,直到把特征的维度变为1024,再通过最大池化层提取出点云的全局特征向量。

图 2. PointNet网络架构

Fig. 2. PointNet network architecture

下载图片 查看所有图片

PointNet中将经过特征对齐后的64维特征看作点的特征,把最后的1024维特征看作点的全局特征。因此,通过简单的拼接,将局部和全局特征捆绑在一起得到1088维特征,利用MLP进行融合,将特征维数降为128,最后训练分类器输出每个点对应M个类别的分数,实现逐点的分类。

PointNet网络中的T-net是一个预测特征空间变换矩阵的子网络,它从输入数据中学习出与特征空间维度一致的变换矩阵,然后与原始数据相乘,实现对输入特征空间的变换操作,使得后续的每一个点都与输入数据中的点有关系。通过数据融合,实现对原始点云数据包含特征的逐级抽象。

2.2 多尺度的生成

PointNet提取每一个独立点的特征描述以及全局点云特征的描述,并没有考虑点的局部特征和结构约束,因此与多视图卷积神经网络(MVCNN)^[10]等其他神经网络相比,其在局部特征描述方面的能力稍弱。先为点云中的点选取邻域,再利用PointNet网络提取邻域内点的特征,作为点的局部特征增强PointNet网络对点局部特征的描述能力。将不同尺度邻域下提取的局部特征通过组合作为点的局部特征,并应用于PointNet网络,提高机载LiDAR点云分类精度。

Lindeberg^[13]提出了尺度空间及对于图像进行多尺度表示的基本概念,并且通过大量数学证明和运算对该概念进行了完善和发展。生成尺度空间的目的是模拟图像数据多尺度特征,在尺度空间中进行多尺度分析更容易获得图像的本质特征^[14]。在获得的机载LiDAR点云数据中,将邻域视为一个尺度参数,改变邻域大小相当于对LiDAR点云应用一个平滑滤波器。因此,可以通过改变邻域大小建立尺度空间,进行多尺度分析。对LiDAR点云中每个点p处建立半径为r的空间球s,若点p的近邻点在此空间球内,则利用PointNet网络提取空间球内点的特征。通过改变半径r的大小,形成不同大小的空间球,得到点p不同大小的邻域,从而来建立不同的尺度,不同大小的邻域组成了一个尺度空间。

图3所示为点云中不同尺度下构建的邻域情况,蓝色点为邻域内的点。由于机载LiDAR扫描方式导致点云数据并不是均匀的,不同区域点的密度不同,同一目标的不同位置点的密度也不同。当选取单一大小尺度时,尺度过小会导致部分邻域内的点过少,影响点局部特征的提取效果。而且点云中不同的尺度能够提取不同维度的特征^[15],图3中第一个尺度提取一维特征,第二个尺度提取2D特征,第三个尺度提取3D特征。因此,需要对不同尺度的局部特征进行组合,增强对点局部特征的描述能力,满足对稀疏和密度不均匀的LiDAR点云分类的要求。

图 3. 点云中不同尺度下的邻域。(a)尺度一;(b)尺度二;(c)尺度三

Fig. 3. Neighbors of different scales in point clouds. (a) Scale 1; (b) scale 2; (c) scale 3

下载图片 查看所有图片

不同数据具有不同的点云密度,因此尺度大小对于不同的激光点云数据也不相同。由于点云的密度越大,点云的平均点距越小,所以根据点云的平均点距确定尺度大小。首先利用八叉树组织点云计算点云的平均点距d_m,然后将最小尺度层级L₁(所提用L_i表示不同的尺度层级,其中序号i=1~n,n为最大尺度层级)根据点云的平均点距来增强适应性^[16],即

L1=sdm,(2)

式中s为放大因子。确定最小尺度层级L₁后,同样利用放大因子s确定其他尺度层级,比如,所提取最大尺度层级为3,放大因子s=2,则

L1=2dmL2=22dmL3=23dm。(3)

2.3 多尺度网络架构

完整的多尺度网络架构如图1所示,红框中为多尺度提取点局部特征的网络结构。采用三个不同尺度构建点云中每个点的邻域,对于每个尺度下的网络,输入为该尺度下邻域内的点,同样采用PointNet网络架构,对输入的点采用T-net(3)网络进行变换,然后通过双层感知机(64,128)对邻域内点的特征进行提取。采用max-pooling层作为对称函数,提取出1×384维点的局部特征,再利用全连接层网络将三个尺度下学习到的特征组合为一个多尺度特征。该多尺度特征作为点的局部特征与PointNet提取的特征结合,完成对每个点的分类。

由于机载LiDAR点云数据的稀疏性,当网络在进行参数更新时,相同的学习率不能适应所有参数更新。使用梯度下降算法及其变体随机梯度下降(SGD)会影响网络训练的效率和精度,因此所提神经网络使用Adam优化算法。

Adam最开始是由Kingma等^[17]提出。Adam优化算法是SGD算法的扩展式,近来广泛用于深度学习,尤其是计算机视觉和自然语言处理等任务中。Adam是一种替代传统SGD过程的一阶优化算法,能基于训练数据迭代地更新神经网络权重。

同时神经网络使用ReLU和Softmax分别作为激活函数和损失函数,ReLU在2016年被提出^[18],其数学表达式为

f(x)=0,x<0x,x≥0。(4)

Softmax函数是 Logistic 函数的推广,用于多分类,正确类别得分的概率表示为

Sk=exp(fk)∑jexp(fl),(5)

式中:f_k、f_l分别为Softmax函数输入向量的第k、l个值;S_k为函数输出向量S的第k个值,表示该样本属于第i个类别的概率。

3 实验仿真及结果

使用两种LiDAR数据集对所提出的神经网络进行评估,一是Semantic 3D户外数据集^[19],二是ISPRS提供的德国Vaihingen城市测试数据集。

Semantic 3D数据集是一个大型户外数据集,使用地面激光扫描仪获得,总共包含40亿个点。数据集包含了各种城市和乡村场景,如农场、市政厅、运动场、城堡和广场。该数据集包含15个训练数据集和15个测试数据集,另外还包括4个缩减了的测试数据集,如图4所示。数据集中的点都含有RGB和强度信息,并被标记为8个语义类别。

Vaihingen数据集由ISPRS提供,使用Leica ALS50机载LiDAR系统扫描得到,文献[ 20]提供了该数据集的相关说明。数据集包含了丰富的地理环境、城区环境及建筑物类型,如图5所示,能够充分验证所提算法在室外大规模场景下的应用。LiDAR点云数据密度为4 m^-3。

图 4. Semantic 3D数据集的点云。(a)区域1;(b)区域2

Fig. 4. Point cloud of Semantic 3D dataset. (a) Area 1; (b) area 2

下载图片 查看所有图片

图 5. Vaihingen城市数据集的点云。(a)区域1;(b)区域2;(c)区域3

Fig. 5. Point cloud of Vaihingen city dataset. (a) Area 1; (b) area 2; (c) area 3

下载图片 查看所有图片

图 6. Semantic 3D数据集的分类结果。(a)输入点云;(b) PointNet;(c)所提算法

Fig. 6. Classification results of Semantic 3D dataset. (a) Input point cloud; (b) PointNet; (c) proposed algorithm

下载图片 查看所有图片

利用Semantic 3D数据集对所提出的网络进行测试,并与其他神经网络方法进行对比。当训练网络时,网络批量归一化的衰减率从0.5逐渐增加到0.99,使用Adam优化器时,初始学习率为0.001,样本大小为32,其余超参设置与PointNet网络相同。训练时每个点由(X、Y、Z、R、G、B、X'、Y'、Z')9维向量表示,RGB为点的颜色的三个通道,X'、Y'、Z'为基于环境的归一化坐标。多尺度网络训练时按照(1)式的方法确定三个尺度为[0.01,0.02,0.04]。分类结果如图6所示。

在Vaihingen城市数据集中,使用PointNet网络和所提算法进行测试,数据集中点的语义标签包含9类(电力线、车辆、低矮植物、不透水表面、护栏、屋顶、墙面、灌木、树)。数据集共包含753876个点,选取301550个点作为训练数据集,452326个点作为测试数据集。多尺度网络中选取[0.5,1,2]三个尺度提取点的局部特征。分类结果如图7所示,由于部分类别的分类结果点太少,因此只标注了5个标签。

图 7. Vaihingen城市数据集的分类结果。(a)输入点云;(b) PointNet;(c)所提算法

Fig. 7. Classification results of Vaihingen city dataset. (a) Input point cloud; (b) PointNet; (c) proposed algorithm

下载图片 查看所有图片

4 实验结果分析

采用交并比(IoU)^[21]、平均每类精度和整体精度对分类结果进行评价,IoU值用百分比表示。假设原始样本中有两类,其中有P个类别为1的样本,有N个类别为0的样本,IoU的计算公式为

fIoU=PTPPTP+PFP+PFN,(6)

式中:P_TP为类别为1的样本被系统正确判定为类别1的点数;P_FN为类别为1的样本被系统误判定为类别0的点数;P_FP为类别为0的样本被系统误判定为类别1的点数。

表1展示了不同放大因子s下多尺度以及单一尺度的分类结果,实验在Semantic 3D数据集上进行。对于点云数据,多尺度空间相较于单尺度空间具有明显的优势,选取的尺度过大时,会增加运算复杂度、降低分类精度。表2展示了所提算法和文献[ 22]算法、文献[ 23]算法、文献[ 24]算法在Semantic 3D数据集上8个类别(路面、草地、树木、灌木、建筑物、人造物、扫描伪影、车辆)的IoU和平均IoU值,所提算法在IoU平均值和大部分类别的IoU上优于其他神经网络。表3对所提算法和其他算法在Semantic 3D数据集上的平均IoU值和整体分类精度上进行了比较,并列出了各算法的时间消耗,所提算法的分类精度均高于其他算法。

表4展示了所提算法和PointNet在Vaihingen城市数据集上9个类别(电力线、车辆、低矮植物、不透水表面、护栏、屋顶、墙面、灌木、树)的IoU和平均IoU值,所提算法在机载LiDAR扫描获得的大规模场景点云数据中也能获得优于PointNet的分类精度。表5对所提算法和PointNet在Vaihingen城市数据集上的平均IoU值、平均分类精度、整体分类精度和运行时间进行了比较,从分类结果可以看出,由于机载LiDAR点云数据相比其他LiDAR点云数据更加稀疏和分布不均匀,机载LiDAR点云数据的分类精度低于Semantic 3D数据集。由于实验所用的点云数据并不包含颜色等光谱信息,因此算法的分类精度不高,实现LiDAR点云与航空影像的融合^[25],能够有效提高点云的分类精度。

5 结论

提出了一种将多尺度特征与PointNet网络结合的深度神经网络,用于LiDAR点云数据的分类。在PointNet网络结构的基础上,采用多尺度对点云内点的邻域特征进行提取,并作为点的局部特征与PointNet提取的全局特征结合,完成对LiDAR点云的分类。通过在Semantic 3D数据集和Vaihingen城市数据集上进行测试,对不同尺度的分类结果进行评估,选出最优尺度,相比于其他神经网络算法,所提算法能取得更好的分类结果。同时从实验结果可知,相比于地面3D激光扫描仪,机载LiDAR由于高度和扫描角度等问题,得到的点云数据更加稀疏,点云的分类具有更高的难度,需要与航空影像等融合实现更高的分类精度。另外所提算法由于需要提取局部特征,在算法效率上有所降低,需要继续改进。