1 引言

近年来,结构光三维成像技术^[1-2]得到迅速发展,该技术已在**、工业、医学诊断等领域有着广泛应用。结构光三维成像设备的工作原理是用投影装置将结构光投射到被测物体表面,然后利用相机将被物体调制过的结构光场拍摄回来,通过相应的算法来恢复被测物体的三维点云数据。在结构光三维成像的实际测量中,每次测量只能获得被测物体一个侧面视角的三维点云数据,并且单视角面形测量也会存在阴影遮挡问题,无法获得完整的三维点云数据,因此无法满足行业的需求。如何获取物体完整面形的三维数据是三维测量领域亟待解决的一个关键问题^[3-5]。

三维点云拼接技术的关键在于准确求解不同视角下局部测量坐标系之间的位置关系。近年来,国内外涌现出大量关于多视角点云数据拼接配准的研究成果。1992年,Besl等^[6]提出的最近点迭代(ICP)算法是一个性能优越的拼接配准算法,ICP算法及其改进算法^[7-11]也成为行业中应用最广泛的拼接配准算法。但是,此算法的速度和稳健性依赖于拼接点云数据的相对位姿关系(旋转矩阵和平移向量)的初值,如果初值选择不当,ICP优化会直接导致精拼接错误。粗拼接技术可以有效地解决这个问题,Silva等^[12]采用遗传算法和度量准则来寻找初始拼接位置,精度较高但效率很低。一些学者用标签法^[13-14]来进行点云数据的粗拼接,它通过在待测物体上粘贴一些标记点来确定物体不同角度之间的位姿关系。但粘贴这些标记点可能会损害和遮挡被测物体,导致标记点粘贴位置的三维面形数据缺失成为孔洞。同时,标记点的数量不多,将导致误差偏大或无法成功匹配。一些学者通过提取待测物体的表面特征、轮廓线等方法来进行拼接,即采用提取特征法^[15-16]进行拼接,这要求待测物体具有比较明显的特征,不具有普适性。还有一些学者利用旋转台,获得被测物体不同角度的面形信息,通过构建转台坐标系和转台转角的关系进行拼接配准^[17-18],但转台坐标系的标定过程复杂,且容易引入误差。

本文首先提出一种利用旋转台参数标定实现多视角点云拼接的方法,仅通过转台带动平面标靶旋转一次,即可求解出转台转角与对应视角局部测量坐标系之间的非线性模型,从而完成系统的标定工作。在保证转台与双目结构光三维测量系统无相对运动的情况下,系统无须再次标定。其次,将被测物体固定于标定后的转台上,根据被测物体面形复杂程度由控制设备旋转标定角度的整数倍,通过标定好的非线性关系计算出当前旋转角所对应的旋转矩阵和平移向量,将不同视角的三维点云数据进行坐标系统一,完成点云粗拼接。随后再借助ICP实现稳健的点云数据精拼接。实验分别对面形规则和复杂的两类物体进行多视角点云测量拼接,结果验证了本文方法的实用性,表明该方法能有效保证多视角点云数据的最终匹配精度。

2 基本原理

采用结构光三维成像设备获取物体面形时,每次只能获得被测物体单视角下的面形信息,要获得被测物体完整的三维点云数据,需要从被测物体的多个角度进行测量,如图1所示。由于每次获得的三维点云数据局部测量坐标系不同,需进行坐标变换,即将这些测得的三维点云数据统一到同一个坐标系下,完成点云数据的粗配准。然后利用ICP算法和数据融合,得到被测物体360°的完整点云数据。

图 1. 结构光三维成像设备多个角度采集三维点云

Fig. 1. 3D point clouds collected by 3D imaging device with structured light from multi-views

下载图片 查看所有图片

本文方法的具体步骤如图2所示。首先,将平面标靶固定于旋转台上,通过旋转台带动标靶旋转一次(角度θ),由双目结构光三维测量系统相机端获取两个视角下的标靶图像,计算旋转前后标靶的位姿变化关系,延伸计算出转台旋转n×θ(n=1,2,3,…)标靶位置的变化关系,即建立转台转角和标靶位置之间的非线性关系。其次,将被测物体固定于标定好的转台上,根据被测物体表面的复杂程度控制转台旋转标定角度(θ)的整数倍,获得被测物多个视角下的点云数据。借鉴标签法的思想,将标靶的位置和三维点云的位置关联起来,即可得到转台转角和三维点云之间的非线性关系。利用这个非线性关系将不同视角的三维点云数据统一到同一个坐标系下,完成三维点云数据的粗拼接,再利用ICP算法和数据融合得到一个完整的三维点云数据。

对本文方法进行两部分讨论。1)标靶由转台带动旋转一次,计算旋转前后标靶的位置变化,即对旋转矩阵和平移向量进行求解,然后确定标靶位置变化和三维点云坐标变化之间的关系;2)利用旋转台参数标定,计算多个视角三维点云之间的位置关系。

图 2. 本文方法实施方案。(a)转台标定;(b)被测物多视角三维点云数据获取

Fig. 2. Measuring scheme of the proposed method. (a) Turntable calibration; (b) acquisition of multi-view 3D point cloud data from the measured object

下载图片 查看所有图片

2.1 利用转台实现粗拼接时位姿关系的解算原理

将标靶和被测物分别固定于旋转台上旋转一次(θ),以两个视角的关系为例来说明标靶位置和三维点云位置之间的关系,并求解出旋转前后它们的位置变化。在整个实验过程中,标靶或者物体分别由转台带动旋转相同的角度,旋转过程中标靶或物体与转台无相对运动,故可将他们等效看成同时固定在旋转台上。将标靶上的特征信息等效视为物体上的标记点,如图3所示,此时,标记点的位置变化关系即为三维点云的位置变化关系。故标靶旋转前后的位置变化与两个视角下三维点云数据之间的位置一一对应。

计算这两个视角下三维点云之间的位置关系,具体做法为:以棋盘格标靶上的特征信息—棋盘格角点作为标记点,建立世界坐标系,结合Zhang^[19]标定算法,即可计算出世界坐标系与双目结构光测量系统坐标系之间的关系。将标靶坐标系旋转前后的位置变换关系作为两个视角下三维点云数据之间的位置关系。将双目结构光测量系统坐标系建立在左相机上。这个过程涉及2类坐标系,双目结构光三维测量系统左相机坐标系O_c-X_cY_cZ_c、世界坐标系O_w-X_wY_wZ_w。设任意一点P在世界坐标系下的坐标P_w=[X_w,Y_w,Z_w]^T,在左相机坐标系下坐标为P_c=[X_c,Y_c,Z_c]^T,则两坐标系坐标值之间的转换关系为

Pc=RPw+T,(1)

式中:R表示由世界坐标系到左相机坐标系的旋转矩阵,矩阵大小为3×3;T表示由世界坐标系到左相机坐标系的平移向量,矩阵大小为3×1。由图3可知,旋转前后的世界坐标系O_w1-X_w1Y_w1Z_w1、O_w2-X_w2Y_w2Z_w2分别和左相机坐标系O_c-X_cY_cZ_c之间的位置关系为

Pc=R1Pw1+T1,(2)

Pc=R2Pw2+T2,(3)

式中:P_w1、P_w2分别为点P在旋转前后的世界坐标系O_w1-X_w1Y_w1Z_w1和O_w2-X_w2Y_w2Z_w2下的坐标;R₁和R₂分别为由旋转前后的世界坐标系O_w1-X_w1Y_w1Z_w1、O_w2-X_w2Y_w2Z_w2到左相机坐标系O_c-X_cY_cZ_c的旋转矩阵;T₁和T₂分别为由旋转前后的世界坐标系O_w1-X_w1Y_w1Z_w1、O_w2-X_w2Y_w2Z_w2到左相机坐标系O_c-X_cY_cZ_c的平移向量。

由(2)式和(3)式可得

Pw1=R1-1R2Pw2+R1-1(T2-T1),(4)

式中: R1-1R₂表示由旋转后世界坐标系O_w2-X_w2Y_w2Z_w2到旋转前世界坐标系O_w1-X_w1Y_w1Z_w1的旋转矩阵,记为R_x; R1-1(T₂-T₁)表示由旋转后世界坐标系O_w2-X_w2Y_w2Z_w2到旋转前世界坐标系O_w1-X_w1Y_w1Z_w1的平移向量,记为T_x。R_x、T_x表示转台旋转一次(θ),旋转前后在两个视角测得的三维点云之间的位置关系。

图 3. 实验过程等效示意图。(a)转台旋转前的探测视角;(b)转台旋转后的探测视角

Fig. 3. Diagram of equivalent process of the experiment. (a) Detection perspective before rotation of turntable; (b) detection perspective after rotation of turntable

下载图片 查看所有图片

2.2 利用旋转台参数标定实现多视角三维点云拼接的原理

通过建立转台转角和世界坐标系之间的非线性关系,可将两个视角的三维点云数据的位置关系延伸到多个视角。为叙述方便,将模型简化到二维图中进行讨论,如图4(a)所示。将标靶固定于旋转台上,从位置1转到位置2,旋转了θ。O_w1-X_w1Y_w1Z_w1、O_w2-X_w2Y_w2Z_w2为位置1、2处标靶所确定的世界坐标系。由(4)式可知,O_w1-X_w1Y_w1Z_w1、O_w2-X_w2Y_w2Z_w2的位置变化关系为:旋转矩阵R_x,平移向量T_x;由于旋转台均匀旋转,从0转到θ、从θ转到2θ、…、从(n-1)×θ转到n×θ,他们之间由标靶确定的世界坐标系的位置关系均相同。故可延伸推导出转台旋转2θ、3θ、…、n×θ,由标靶确定的世界坐标系之间的位置关系为

Pw1=RxRxPw3+RxTx+Tx,(5)

Pw1=RxRxRxPw4+RxRxTx+RxTx+Tx,(6)

Pw1=Rxn-1Pwn+Rxn-2Tx+…+RxTx+Tx,n=1,2,3,…,(7)

式中:P_wn为转台旋转n×θ(n=1,2,3,…),由标靶确定世界坐标系下点P的坐标。(7)式即为转台转角和世界坐标系之间的非线性关系。通过(7)式可求得转台旋转n×θ(n=1,2,3,…)对应世界坐标系的位置关系变化。图4(a)中位置3处虚线所画的坐标系O_w3-X_w3Y_w3Z_w3,即为转台旋转2θ虚拟出的标靶确定的世界坐标系。由2.1小节可知,若在整个测量过程中,标靶或物体与转台无相对运动,世界坐标系的位置变换关系与三维点云的位置变换关系是一一对应的,由此可获得转台转角为n×θ时与之对应视角的三维点云位置关系。

图 4. 旋转台参数标定实现多视角点云拼接示意图。(a)转台标定过程;(b)被测物多视角三维点云数据获取

Fig. 4. Diagram of multi-view point cloud splicing with turntable parameter calibration. (a) Turntable calibration process; (b) multi-view 3D point cloud data acquisition from measured object

下载图片 查看所有图片

图4(b)为多个视角三维点云的获取过程示意图,被测物由旋转台带动,每次步进n×θ,获得多个视角的三维点云数据。然后利用非线性关系,将被测物体在多个视角(n×θ,n=1,2,3,…)下三维点云数据统一到同一个坐标系下,完成三维点云的粗配准,进而利用ICP算法精配准得到完整的点云数据。

3 实验与结果分析

为验证算法的正确性,搭建双目结构光测量拼接实验系统,如图5所示。系统由两个IDS公司生产型号为UI-3250的相机和一个福州巨维达PDC03-A投影仪组成。相机分辨率为1600 pixel×1200 pixel,投影仪分辨率为1200 pixel×800 pixel;旋转台为卓立汉光的RSA200,控制箱为卓立汉光SC3;标靶为玻璃材质标靶,棋盘格间距为10 mm,角点的标称精度为0.001 mm。

图 5. 实验装置图

Fig. 5. Experimental setup

下载图片 查看所有图片

3.1 精度评价

为对本文拼接方法进行精度评定,设计并精密加工了两个硬铝材质标准件,即一个圆台和一个半球,如图6(a)和(g)所示。对这两个标准件进行多视角测量和三维点云数据拼接来分析本文方法的精度。使用外径千分尺测得圆台标准件从上到下三个圆柱体的直径依次为79.49、139.49、199.49 mm,使用千分表测得圆度误差为0.002。半球标准件用三坐标测量机测得1600个点,拟合得到直径为160.02 mm,并将其视为真值。

首先进行转台标定,将标靶固定于旋转台,由旋转台带动标靶旋转20°,完成系统的标定。其次,通过旋转台带动圆台标准件每次旋转20°,共获得18个不同视角的点云数据。单视角下获得的三维点云如图6(b)所示,约占整个圆柱的32%,相邻点云之间的重合区域约占单片点云的83%。然后,利用(7)式求出这18个视角三维点云之间的位置关系,将这些三维点云数据按照本文方法进行粗拼接,粗拼接结果如图6(c)所示。最后,利用ICP算法进行精拼接,得到的结果如图6(d)所示。图6(e)、(f)分别为圆台标准件粗拼接和精拼接结果中方框部分的局部放大图。

图 6. 标准件及其拼接融合结果。(a)(g)标准件实物图;(b)(h)单片点云结果;(c)(i)粗拼接结果;(d)(j)精拼接结果;(e)(k)粗拼接结果局部放大图;(f)(l)精拼接结果局部放大图

Fig. 6. Standard samples andtheir splicing fusion results. (a)(g) Standard samples; (b)(h) single point cloud results; (c)(i) coarse splicing results; (d)(j) precise splicing results; (e)(k) local magnification of coarse splicing results; (f)(l) local magnification of precise splicing results

下载图片 查看所有图片

采用同样的测量系统和系统标定结果对半球标准件进行多视角测量和点云拼接,将半球标准件固定于转台上,依次步进80°,获得5个视角的点云数据。单视角下获得的三维点云如图6(h)所示,约占整个半球的28%,相邻点云之间的重合区域约占单片点云的40%。粗拼接的结果如图6(i)所示,精拼接的结果如图6(j)所示。图6(k)、(l)分别为半球标准件粗拼接和精拼接结果中方框部分的局部放大图。

对单次测得的三维点云数据、多视角粗拼接及精拼接后的完整点云数据,分别使用Geomagic软件进行拟合,得到圆台标准件三个圆柱体的直径和半球标准件的直径,测量结果及误差如表1所示。表1中三个圆柱体按直径从小到大依次命名为圆柱体1、圆柱体2、圆柱体3。由表1可知双目结构光三维测量系统对圆台标准件的单次测量最大误差为0.07 mm。利用本文方法进行多次拼接后获得完整的点云数据,最大误差为0.12 mm。

3.2 实物实验

分别对1个石膏雕像和1个直径约为500 mm的塑料半球玩具进行2次拼接实验,如图7所示。采用与精度评价实验相同的测量系统和系统标定结果,将被测的雕像固定于转台上,每次步进20°,共进行18次测量,获得18个不同角度的局部三维点云数据。单视角下获得的三维点云约占整个被测物体的32%,相邻点云之间的重合区域约占单片点云的83%。用本文提出的粗拼接算法进行拼接融合,完整的点云数据如图8所示。采用同样的测量系统和系统标定结果对塑料半球进行多视角测量和点云数据拼接实验。由于半球面形简单规则,将其固定于转台上,每次步进80°,共进行5次测量,获得5个不同角度的局部三维点云数据。单视角下获得的三维点云约占整个被测物体的28%,相邻点云之间的重合区域约占单片点云的40%。拼接融合后的完整点云数据如图9所示。

图 7. 被测物体。(a)石膏雕像;(b)直径约为500 mm的塑料半球玩具

Fig. 7. Measured objects. (a) Plaster statue; (b) plastic hemispheric toy with 500-mm diameter

下载图片 查看所有图片

图 8. 雕像的多视角三维测量及拼接融合结果

Fig. 8. Multi-view 3D measurement and splicing fusion results of statue

下载图片 查看所有图片

图 9. 塑料半球多视角三维测量及拼接融合结果

Fig. 9. Multi-view 3D measurement and splicing fusion results of plastic hemisphere

下载图片 查看所有图片

4 结论

提出了一种利用旋转台参数标定实现多视角点云拼接的方法,通过将标靶固定于转台上旋转一次,建立转台转角和不同局部测量坐标系之间的非线性模型。利用此模型将被测物体在多个测量视角下的三维点云数据统一到同一个坐标系下,完成多个测量视角下被测物体三维点云数据的粗拼接,为ICP算法提供了良好的初值,增加了ICP算法的稳健性。在保证转台与双目结构光三维测量系统无相对运动的情况下,系统无需再次标定。本文方法性能稳定,准确度较高,操作简洁方便。相对于传统的转台法,本文方法减少了标定过程中的旋转次数,无需复杂的坐标系建立和拟合过程,计算复杂度更低;相对于标签法,本文方法不需要将标记点贴在物体上避免了对物体表面的破坏,也避免了标记点遮挡被测物造成点云数据的空洞问题。此外,将平面标靶的全部特征点作为标记点, 对不同旋转角度下坐标系间相对姿态关系进行稳定计算,有助于提升多视角三维点云粗拼接准确性和最终拼接精度。实验验证了本方法的可行性,本文方法的拼接误差不大于0.12 mm。

但是,本文方法目前只能得到特定视角n×θ(n=1,2,3,…)下三维点云之间的位置关系,还不能得到任意视角下三维点云的位置关系;本文方法在进行拼接时需将物体固定于转台上,一定程度上限制了该方法的使用范围;如果标定过的双目结构光测量系统与转台的相对位置发生了变化,则需重新标定测量系统。这些问题将在后续工作中进行解决优化。