1 引言

随着计算机科学领域在高精尖技术支持下取得巨大发展,计算机视觉领域的研究也获得了巨大的进步。在计算机视觉领域,光场成像技术应用非常广泛。光场成像系统有多种不同的实现方式,其中包括像机阵列^[1-3]、微透镜阵列(MLA)^[4-5]、掩模^[6-7]、物镜阵列^[8]等。其中MLA光场相机最符合成本效益,因而被广泛地应用于学术研究及商业领域^[9]。

国内外的专家学者对MLA光场相机进行研究时,研究重点为深度恢复、超分辨率及三维重建等方面。在光场相机深度获取的研究过程中,国内外相关研究报告所提到的评价参数大多为实测距离,但MLA光场相机的光学透镜组部件位于光场相机内部,对距离进行实际测量时,由于测量点位置的不确定性,即使使用精度相当高的激光测距,测量结果仍存在较大误差。现阶段在光场相机的测距研究方面,国内外研究文献非常少^[10],而双目的测距方法多用于远距离目标的测距,且采集的图像信息分辨率非常高^[11]。所以对MLA光场相机的测距研究在三维空间深度获取、三维重建等方面具有重要的意义。

为给深度获取实验数据提供较为准确的评价参数,本文提出一种为光场相机深度处理服务的多目标测距算法,通过一次拍照即可完成多目标物的测距工作,且算法结构简单、时间短、效率高。

2 LYTRO相机成像模型与深度分辨率

2.1 LYTRO相机的成像模型

光场相机中的光场,是指空间中所有光线光辐射函数的总体^[12]。光场包含位置信息(x,y)和方向信息(u,v),四维光场数据^[13]的获取在光场相机的测距研究中是必不可少的一环。光场的参数化表示方法有很多,当今最流行的是用光线与两个平行平面的交点坐标进行参数化表征^[12],如图1所示。L(x,y,u,v)表示光场的一个采样,各变量代表的意义如下:L表示光线强度;(x,y)和(u,v)表示光线与两个平面的交点坐标,分别代表位置信息和方向信息。在四维光场中,每一条光线对应光场的一个采样点。

图 1. 光场相机双平面参数化表征

Fig. 1. Parametric representation of light field camera in two planes

下载图片 查看所有图片

令物体入射光在主透镜成像面的坐标为(x,y),物体上的坐标为(d_x,d_y),物体到主透镜的距离为s,在则入射光与透镜的角度为

θ=arctan[(x-dx)/s]。(1)

如图2所示,s为物体到主透镜的距离,F为主透镜焦距, f为微透镜焦距。

图 2. 光场成像结构

Fig. 2. Light field imaging structure

下载图片 查看所有图片

定义M为主透镜的折射矩阵,T为主透镜与微透镜之间的转换矩阵,m为微透镜的折射矩阵,t为微透镜与探测器之间的传播矩阵,则有

M=10-1F1,T=1F01,m=10-1f1,t=1f01。(2)

定义a'为主透镜的转换距离,b'为微透镜的移动距离。其中, y;arctany-dys为主透镜转换参数, 0;xf为微透镜平移矩阵。

a'=T×M×y;arctany-dys,b'=T×M×a'+0;xf。(3)

由此便可构建光场成像模型。

2.2 LYTRO相机图像景深分辨率

为增加LYTRO相机的测距范围及测距精度,提高相机的图像景深分辨率是十分必要的。LYTRO相机深度提取的原理是基于主镜像面上同一点在不同微像中存在的视差^[14]。如图3所示,距离微透镜镜面距离为a的主镜像面上,处于两微透镜交会视场中心的一点经两微透镜成像后,在各自微像中的像素坐标分别为x和-x,该点在两微像中的视差为2x。

图 3. 图像深度提取原理

Fig. 3. Principle of image depth extraction

下载图片 查看所有图片

根据相似三角形定理

2x=2hb|a|,(4)

式中:b为探测器与微透镜阵列之间的距离;h为目标微透镜中心到主光轴的距离,h=kd_p/2,k为目标微透镜个数,k的最大值取决于a,k=1,2,3;d_p为相邻微透镜中心的像素间隔。根据孔径匹配条件,主镜像面上一点的全孔径光束覆盖的微透镜数为 |a|bL1L1-a,L₁为微透镜阵列与主镜出瞳面间距,当|a|相对于L₁较小时,该式约等于|a|/b,k的最大值为 |a|b-1。

对于两微透镜交会视场中一般位置的点,若成像后的视差记为p_plx,同样有

pplx=2hb|a|。(5)

要从原始光场图像得到a,只需要在中心间距为2h的两微像中找到对应同一物点的像点,然后确定他们在各自微像中的坐标并计算视差值p_plx。若h=kd_p/2,则|a|应不小于(k+1)b,可能获得的最大视差值为kd_p/(k+1)。随着|a|的增加,视差会逐渐减小。若|a|增加Δa,视差值减小一个像素(本文以一个像素作为最小的可识别视差变化量,实际中可以小于一个像素,如文献[ 13]中的亚像素偏移量为1/10个像素)以提高深度分辨能力,即

2hb|a|-2hb|a|+Δa=1,(6)

则像方深度分辨率为

Δa=a22hb-|a|。(7)

3 LYTRO相机快速测距算法

LYTRO相机快速测距算法主要分为图像预处理及算法实现两个步骤。算法实现过程又分为直接测距算法、相对测距算法优化、融合算法三个部分,具体算法结构如图4所示。

图 4. 算法结构图

Fig. 4. Structural diagram of the algorithm

下载图片 查看所有图片

3.1 图像预处理

MLA光场相机有两个限制问题,低空间分辨率和窄基线。低空间分辨率限制了光场相机的通用性和适用性,而窄基线限制了深度估计的范围和精度。本文对数据进行预处理,有效地增加深度估计的范围和精度,使得测距精度大幅提高。

3.1.1 通过点扩展函数对图像进行超分辨处理

LYTRO相机对原始图像进行拍摄,获取的结果如图5所示。图5(b)为图5(a)中方框的放大图像,图5(c)为图5(b)中方框的放大图像。

按照文献[ 15]的方法,对原始图像进行超分辨处理,结果如图6所示。图6(b)、(c)分别为图6(a)中上方方框及下方方框的放大图像(局部放大图像1和局部放大图像2),图6(d)为图6(c)的局部放大图像3。

3.1.2 图像重聚焦

使用文献[ 5]的方法,通过设置不同的α值,在频域中通过对四维光场数据进行傅里叶变换及逆变换得到一组重聚焦序列图像。图像序列中图像的个数由待测物体数量决定,为待测物体数量的l倍(l≥1),数量越大,精度越高,计算量越大,时间复杂度就会越高,同时还会引入噪声^[15]。经过实验,将l设置为1.5或2.0较为合适。如图7所示,图7(a)为24只彩色水笔组成的原始图像;图7(b)为由36张图像构成的图像序列。

图 5. 原始图像及局部放大图像。(a)原始图像;(b)局部放大图像;(c)局部二次放大图像

Fig. 5. Original image and local enlarged images. (a) Original image; (b) local enlarged image; (c) local two-time enlarged image

下载图片 查看所有图片

图 6. 超分辨恢复结果。(a)原始图像;(b)局部放大图像1;(c)局部放大图像2;(d)局部二次放大图像3

Fig. 6. Super-resolution recovery results. (a) Original image; (b) local enlarged image 1; (c) local enlarged image 2; (d) local two-time enlarged image 3

下载图片 查看所有图片

图 7. 重聚焦图像序列。(a)原始图像;(b)重聚焦图像序列(36张)

Fig. 7. Re-focusing image sequence. (a) Original image; (b) refocus image sequence (36 pieces)

下载图片 查看所有图片

3.2 直接测距法

直接测距法需要对目标物进行贴片处理,如图8所示。文中使用的贴片为点云扫描仪所使用的制式贴片,由于贴片的双层圆面有固定的比例关系,因此在计算贴片像素大小时,能够保证实验精度,减小实验误差。

图 8. 贴片示意图

Fig. 8. Schematic of the patch

下载图片 查看所有图片

经预处理后,对目标物作标准化测量,如图9中所示。测距公式为

nss=nd,(8)

式中:s为待测目标的距离;n_s为待测目标的贴片像素大小;d为实测标准距离;n为实测标准距离下目标物贴片像素大小。值得注意的是,公式中n、n_s均为超分辨处理后贴片的像素大小。

算法流程如下:

1) 对本组实验目标物进行贴片处理;

2) 经过实际测量可得,图9(a)中贴片木块距相机镜头距离为5 cm,图9(b)中贴片木块距相机镜头距离为10 cm,图9(c)中贴片木块距相机镜头距离为20 cm;

3) 用LYTRO相机对目标物进行拍照,并对照片作预处理;

4) 在重聚焦图像序列中选出贴片位置最清晰的图像(以清晰度评价函数作为选择依据);

5) 利用文献[ 13]的亚像素偏移窗口选择算法,确定贴片位置;

6) 计算贴片中灰色亮片的像素大小(图9中已用圆圈标识出);

7) 测得的像素大小与距离作为测量标准值;

8) 利用三角形定理,结合测量标准值,按照(8)式,即可换算出待测目标的距离。

图 9. 贴片标准值测量。(a)距离为5 cm;(b)距离为10 cm;(c)距离为20 cm

Fig. 9. Standard value measurement of the patch. (a) Distance is 5 cm; (b) distance is 10 cm; (c) distance is 20 cm

下载图片 查看所有图片

3.3 相对测距法优化

通过对待测目标物进行预处理及超分辨处理后,目标数据的图像景深分辨率获得大幅提高,使得相对测距法的实验精度也有很大的提升。在此基础上对文献[ 10]算法进行优化,实验过程如图10所示。

图 10. 贴片标准值测量。(a)文献数据;(b)本文数据

Fig. 10. Standard value measurement of the patch. (a) Literature data; (b) data in this paper

下载图片 查看所有图片

文献[ 10]中测得两个待测目标的距离范围始终是6550~6992 μm,与理论值f=6440 μm之间的偏差范围是1.71%~8.5%。

本文对实验目标图像进行超分辨处理后,通过相同的算法处理,得到两个待测目标的距离范围为6449~6465 μm,与理论值f=6440 μm之间的偏差范围是1.53%~3.89%。测量精度相比文献[ 10],有了很大的提高。根据透镜成像原理,主透镜与微透镜阵列的距离d₀大于初始焦距F,这验证了本算法的正确性。

3.4 算法验证

采用文献[ 10]中的改进型拉普拉斯算子作为聚焦度评价算子对重聚焦光场图像序列进行清晰度评价,实验结果如图11所示。其中,图11(a)是文献[ 10]中采用改进型拉普拉斯算子得到的深度图像;图11(b)是通过文献[ 16]对本文中待测目标进行深度估计处理后得到的深度图像。颜色越深,说明目标距离相机越近,反之亦然。深度图的一致性证明本文优化后算法的正确性。

图 11. 算法验证。(a)文献算法结果;(b)本文算法结果

Fig. 11. Algorithm validation. (a) Results of algorithm in literature; (b) results of proposed algorithm

下载图片 查看所有图片

4 实验结果与分析

实验相机为第一代LYTRO相机,相机序列号:sn-A502390678,运行环境:Windows 8,64位操作系统,处理器:AMD Athlon(tm)×4740 Quad Core Processor 3.20 GHz。

4.1 实验1

本组实验针对少量待测目标,如图12所示,设置6组不同距离、相同数量的待测目标,每组实验目标均为2个已贴片木块,图中目标物1固定位置,目标物2位置不断变换。实验数据如表1所示。表1中的实际距离与实验距离均为相机镜头到待测目标之间的直线距离。

图 12. 6组待测目标图像。目标物1的距离固定为20 cm,目标物2的距离分别为(a) 25 cm;(b) 30 cm;(c) 40 cm;(d) 50 cm;(e) 60 cm;(f) 70 cm

Fig. 12. Six groups of target images to be measured. The distance of target 1 is fixed as 20 cm, and the distance of target 2 is (a) 25 cm; (b) 30 cm; (c) 40 cm; (d) 50 cm; (e) 60 cm; (f) 70 cm

下载图片 查看所有图片

对表1分析,待测目标物距离相机越远,测量精度越低。当距离小于50 cm时,测量误差小于2%;在距离大于50 cm后,测量误差明显上升,误差大于3.5%。其原因可能是由于距离较远时,图像超分辨效果降低,实验测得的贴片像素值小于实际像素值。因此,本算法若在保证高精度的前提下,在测距范围上有一定的限制,在今后的研究过程中,超分辨算法还有待继续优化与提高。

4.2 实验2

本组实验针对大量待测目标,如图13所示,设置了4组不同距离、不同数量的待测目标,每组实验目标由2种算法计算,算法时间如表2所示。

图 13. 4组待测目标图像。(a) 3个目标物;(b) 7个目标物;(c) 10个目标物;(d) 12个目标物

Fig. 13. Four groups of target images to be measured. (a) 3 targets; (b) 7 targets; (c) 10 targets; (d) 12 targets

下载图片 查看所有图片

对表2分析,随着待测目标数量的增加,两种测距方法的算法时间也在逐渐增加。对于少量待测目标而言,直接法时效性更高;但当待测目标数量大于10个时,结合算法的时效性优于2种算法单独使用。对于图13(b)中被遮挡的待测物体(target 3),由于待测物体摆放位置的原因,待测贴片被前一目标物所遮挡,无法完成测距。但在实际情况中,由于待测目标物为客观存在,贴片操作作为标记物为算法提供支持,为后续操作,因此,算法的缺点可以避免。同时,该算法可适用于不同型号的MLA光场相机(对于微透镜阵列型光场相机,在成像原理相同的情况下,该算法均可适用;但对于相机阵列、掩模及其他类型的光场相机并不适用),算法适应性较高。

5 结论

提出一种基于MLA光场相机的多目标快速测距方法。文中使用的优化算法及融合算法对测距方法的整体时间进行大幅优化,且通过一次拍照即可完成对多目标物的测距工作。少量待测物体,直接测距法精度高,速度快;数量较多的待测物体,将直接测距法与相对测距法结合,不但能够保证精度,而且时效性也会大幅提高。本文算法同样适用于运动目标的测距,在对运动目标进行测距时,可通过外接触发器对运动目标进行连续、快速地拍摄,通过对每一帧图像的分别处理完成对运动目标的测距,同时可从测距结果中获得运动目标的轨迹深度图信息,这将是下一阶段的重点研究内容。

在今后的研究学习中,在如何优化测距算法、使用融合测距算法时如何确定直接测距法的中心待测目标位置、间接测距法的最短路径、提高算法时效性等问题上,还需作进一步的研究。而对于更多数量的待测目标测距算法的研究仍是今后的研究重点。