多参考平面的EPISM全息体视图 下载: 813次
1 引言
近几年,全息体视图打印技术是全息打印的研究热点之一[1-7],其本质是通过全息技术来重建数目有限的二维图像,从而达到近似再现三维场景的目的。全息体视图由多个子全息图组成,每个子全息图被称作全息单元。三维场景的重建可被理解为光场信息的恢复,其中每一幅合成视差图像中包含的光场信息均被记录到相应的全息单元上。全息体视图打印系统由软件部分和硬件部分组成。软件部分的作用是由虚拟/真实三维场景或者与前者对应的采样图像得到包含正确的光场信息,可以精确重建三维场景的合成视差图像。硬件部分的作用是将合成视差图像中包含的光场信息记录到全息干板上,核心为将合成视差图像加载到空间光调制器上作为物光波,并与另一束经过方形光阑调制的参考光波发生干涉,干涉后生成的条纹被存储到全息记录介质的内部,从而生成全息单元。
1967年,Pole[8]使用了二维透镜阵列来获取三维物体的多个视角图片,然后利用全息干板直接记录多个视角图片,因此制作了第一幅能够再现三维物体虚像的全息体视图。1969年,Debitetto[9]提出了将方形光阑作为掩模并逐次曝光各个视角图片,有效提高了全息体视图再现的效果。1970年,King等[10]在Debitetto[9]的研究基础上,采用了两步法来打印全息体视图,实现全息体视图的白光再现。到1990年为止,研究者基于Debitetto/King的系统模型制作了大量的全息体视图,但考虑到时间成本,这个阶段的全息体视图通常只包含水平视差。将数字图像技术引进体视图打印的实验中,曝光全息单元使用的图像是由真实相机拍摄的实物模型,这会导致全息体视图的再现只能是现实中存在的物体,且再现像和全息干板的相对位置严格受限于实物模型和采样相机的几何关系。1991年,Halle等[11]提出了超现实成像的概念,采用无穷远相机法对采样图像进行处理,解除了实物模型、再现像以及采样相机之间的几何关系,成功打印出再现像处于任意深度的全息体视图。1992年,Yamaguchi等[12]提出了单步Lippmann打印方法和基于数字图像处理技术的合成视差图像生成算法,该算法将计算机中的虚拟三维模型作为全息体视图打印的对象,重建的再现像具有无畸变和全视差等特点。1993年,Yamaguchi团队[13]详细分析了全息体视图再现光波波前的特点,提出了增加相位信息的方法来获得全息体视图,新方法获得的全息体视图相较传统方法有更好的再现效果,相较于计算全息图(CGH)具有更少的时间成本。Brotherton-Ratcliffe[14]最早在2000年提出了数字直写全息术(DWDH),在硬件部分和软件部分均有创新,并提出了“六个平面”的概念,将其作为合成视差图像生成过程中的参考面,详细分析了原始光场信息从进入相机镜头被记录到胶片上,到视角图像加载到空间光调制器被记录到全息单元上,再到照明光波照射全息单元上发生衍射以重建原始物体的整个过程中光场信息的传递过程。
近年来,本研究组提出一种有效视角图像切片嵌合(EPISM)的单步全息体视图打印方法,所提方法可以使用较少的采样图像获取较高分辨率的合成视差图像,实现全息体视图的单步打印浮现显示[15]。该方法的核心是根据人眼的视觉特性对采样图像的有效片段进行切割重组,生成与体视图打印系统参数相匹配的合成视差图像。EPISM方法生成的图像分辨率较高且计算的复杂度较低,但在EPISM的过程中存在误差,造成合成视差图像中存在部分畸变,体现到打印效果上为再现像质量差以及部分再现像发生形变。为了减小甚至消除EPISM方法的固有误差对再现像质量的影响,详细分析了合成视差图像生成过程中的像素信息变化以及全息体视图再现时的光场信息传递过程,为此提出新方法解决现有误差,从而进一步提高全息体视图的再现质量。
2 EPISM方法的原理及再现误差分析
2.1 EPISM方法的原理
EPISM方法被提出的初始目的是为了将传统的“两步法”压缩为一步来完成,同时使得生成的合成视差图像具有较高的分辨率,打印得到的全息体视图具有较好的成像质量。在这一过程中,使用稀疏相机阵列拍摄数量较少的采样视角图像来生成较高分辨率的合成视差图像。EPISM方法可以视为由稀疏采样得到密集光场数据的方法,使用该方法打印全息体视图分为三个步骤。第一步是使用相机阵列对三维场景进行采样以获取一组采样图像,如
图 1. EPISM方法的原理。(a)采样几何示意图;(b)采样图像切片嵌合示意图
Fig. 1. Principle of EPISM method. (a) Sketch map of sampling geometry; (b) sketch map of sampling image slice mosaic
2.2 再现误差的分析
为了详细分析误差的来源,根据人眼的视锥特点并结合光线追迹的原理来理解EPISM方法。光场的重建过程中,无论对于由采样相机拍摄的视角图像还是由具体算法生成的合成视差图像,图像上的一个像素均代表三维空间中的一条光线,视角图像上的每一个像素均代表进入相机镜头的每一条光线,合成视差图像上的每一个像素均代表全息体视图记录/再现时,全息单元存储/衍射的每一条光线。
假设三维场景中的内部有一点M1,且M1恰好位于算法参考面上,考虑点M1经过EPISM方法处理后的误差,结果如
考虑三维场景上位于算法参考面中左侧点M2的记录和再现,结果如
事实上,不是所有偏离算法参考面中的物点,其再现均会产生误差。若物点恰好位于光轴(相机中心和全息单元中心所在的直线)上,无论距离参考面多远,则再现像点与物点的空间位置是完全重合的。进一步分析,对于算法参考面下方和上方的点,其再现误差是不同的。点M2及其同侧点的再现总会倾向于远离光轴,与光轴距离越远,误差越大。对三维场景中参考面上方的物点进行重建,发现再现像点趋近于光轴的方向产生误差。反映到宏观的图像层面,参考面下方的点合成视差图像发生“缺失膨胀”,参考面上方的物点合成视差图像发生“重叠压缩”。
假设原始场景中有一组正常的像素序列,依次标记为0, 1, 2, 3, 4, 5, 6, 7, 8, 9。将这部分正常序列置于算法参考面上,并对其使用EPISM方法进行重建,在有效视角图像切片和嵌合的过程中,若相邻切片x和切片x+1拼接无误,则可完整且精确地再现原像素片段。若将像素序列置于算法参考面的下方(靠近采样相机),重建得到的像素序列如
图 3. “缺失膨胀”和“重叠压缩”的示意图
Fig. 3. Schematic of "missing expansion" and "overlapping compression"
综上所述,使用EPISM方法生成的合成视差图像,除了位于算法参考面和光轴部分的三维场景,其余部分均存在像素块拼接错误,且距离算法参考面越远以及与光轴距离越大,图像的拼接误差越大。
2.3 仿真分析
对
接近算法参考面的壶盖柄上的斑马图案拼接流畅,只有少量的拼接误差,如
图 4. 采样处理结果。(a)采样平面、全息体视图平面和三维场景的几何关系;(b)中心视角的采样图像
Fig. 4. Sampling processing results. (a) Geometric relationship between sampling plane, holographic stereogram plane and three-dimensional scene; (b) sampling image from center perspective
图 5. 合成效果。 (a)算法参考面附近;(b)算法参考面和采样平面之间的部分
Fig. 5. Synthesis effect. (a) Near algorithm reference surface; (b) part between algorithm reference surface and sampling plane
3 EPISM方法的误差优化
3.1 减小采样相机的间隔
根据第2.1节分析的结论:光轴上物点的再现误差为零,且距离光轴越远,再现误差越大。从极限的角度来考虑,若视角图像中有效片段的尺寸无穷小,此时三维场景中的任意一点均可视为处于光轴上,则与其对应的合成视差图像记录正确的光场信息,像素块的拼接错误也不会出现。实际上,只需减小组成合成视差图像的像素块尺寸即可在一定程度上减少再现误差。
为了描述方便,使用像素片段来代替像素块,如
一般情况下,θ、N、L1和L2与全息体视图打印系统的结构参数有关且不易改变。因此由(1)式可以推断,通过减小ΔH值来减小E1E2长度,从而减少再现误差。
将一幅二维图片作为EPISM方法的研究对象,分别使用ΔH为5 mm和2 mm对与参考面不同距离的二维图片进行处理,合成视差图像如
图 6. 不同Δl和ΔH值的合成视差图像。(a) Δl=0 cm,ΔH=5 mm;(b) Δl=-10 cm,ΔH=5 mm;(c) Δl=10 cm,ΔH=5 mm;(d) Δl=0 cm,ΔH=2 mm;(e) Δl=-10 cm,ΔH=2 mm;(f) Δl=10 cm,ΔH=2 mm
Fig. 6. Synthetic parallax images with different Δl and ΔH values. (a) Δl=0 cm, ΔH=5 mm; (b) Δl=-10 cm, ΔH=5 mm;(c) Δl=10 cm, ΔH=5 mm; (d) Δl=0 cm, ΔH=2 mm; (e) Δl=-10 cm, ΔH=2 mm; (f) Δl=10 cm, ΔH=2 mm
3.2 设置多个算法参考面
根据第3.1节的分析,可以通过减小ΔH值来提高合成视差图像的质量。但是ΔH值缩小一半,采样图像的数目增加4倍,这直接导致软件渲染和图像分割重组的时间成本较大。为了更好地减小甚至消除EPISM方法的再现误差,改善EPISM方法的再现性能,并且不显著提高实验成本,根据第2.1节的理论分析:当物点距离算法参考面越远时,其再现误差越大,但当物点恰好位于算法参考面上时,其像点可以精确重建,为此提出设置多个算法参考面以减少传统EPISM方法对采样图像进行处理的拼接错误。
通常情况下,算法参考面应设置在物体的深度中心面处。然而对于一个三维物体而言,无法使所有的物点都位于算法参考面的附近,所以使用EPISM方法打印的全息体视图存在再现像误差是难以避免的,且三维物体深度越大,合成视差图像的拼接错误更明显。根据物体的深度范围将其分为多个部分,在每个部分的中心处设置一个算法参考面,分别对每一部分进行采样处理,从而得到多组合成视差图像。最后通过再处理多组合成视差图像来得到整个物体的合成视差图像。通过将物体分为多个小深度的子部分,每一部分有各自的算法参考面,每一部分的物点与相应算法参考面的距离更小,由此可以有效减小三维场景因偏离算法参考面而造成合成视差图像的拼接错误。
图 7. 多参考面EPISM方法的处理步骤
Fig. 7. Processing steps of EPISM method with multi-reference planes
多参考面EPISM方法的关键步骤是如何将多组合成视差图像重组为一组。因为将三维场景图像分为多个部分并处于不同深度,当光场重建时,深度较大部分的图像受到深度较小部分的遮挡而无法被观察,为了生成完整的三维场景合成视差图像需使用深度较小部分的合成视差图像对深度较大部分的合成视差图像进行覆盖。为了执行上述操作,较小深度的合成视差图像中的有效像素应对较大部分的有效像素进行替换。实验过程中,使用3D Studio MAX中的虚拟相机模块对三维场景进行采样,使用MATLAB 2016a来执行采样图像的切片嵌合操作。整个过程使用的图像类型为包含透明度信息的PNG格式,其中Alpha通道值表示像素透明度信息,取值范围为0~255的整数。当Alpha通道值VAlpha为0时,代表像素完全透明,属于无效像素,当VAlpha值为255时,代表像素完全不透明,属于有效像素,当VAlpha值处于1~254时,像素部分有效,由此可以实现对各个部分的合成视差图像中的像素进行有效判断。以三个参考面为例,合成视差图像如
图 8. 多组合成视差图像的重组示意图。(a)(b)(c)第一部分、第二部分和第三部分;(d)第一部分和第二部分;(e)三个部分
Fig. 8. Schematic of recombination of multiple combinations into parallax images. (a)(b)(c) Part 1, part 2 and part 3; (d) part 1 and part 2; (e) three parts
4 实验结果与分析
4.1 全息体视图打印系统的搭建
全息打印系统如
4.2 多参考面EPISM方法的验证
使用
图 10. 类魔方物体的全息体视图。(a)正面视角图;(b)侧面视角图;(c)合成视差图像的几何结构
Fig. 10. Holographic volume view of rubik's cube-like objects. (a) Frontal perspective view; (b) side perspective view; (c) geometric structure of synthetic parallax image
图 11. 不同参考面生成的合成视差图像。(a)前侧;(b)中间;(c)后侧;(d)多参考面
Fig. 11. Synthetic parallax images generated from different reference planes. (a) Front side; (b) middle; (c) rear side; (d) multi-reference planes
在
图 12. 传统/多参考面EPISM方法的类魔方物体再现像结果及局部放大图。传统EPISM方法,(a)聚焦于物体后侧,(b)聚焦于物体中间,(c)聚焦于物体前侧;多参考面EPISM方法,(d)聚焦于物体后侧;(e)聚焦于物体中间,(f)聚焦于物体前侧
Fig. 12. Traditional/multi-reference surface EPISM method of rubik's cube-like object reproduction results and partial enlarged images. Traditional EPISM method, (a) focus on back side of object, (b) focus on middle of object, (c) focus on front side of object; EPISM method with multi-reference planes, (d) focus on back side of object; (e) focus on middle of object, (f) focus on front side of object
以上理论和实验证明,可以通过多参考面EPISM方法打印全息体视图,得到的全息体视图再现像质量高于传统EPISM方法,尤其适用于场景深度较大的三维物体。设置的参考面数目越多,全息体视图的成像质量越好,但这会导致更大的计算复杂度和计算成本。因此合适的参考面数目应该在实验成本和成像质量之间进行选择,这是下一步将要研究的内容。同时需要特别说明一点,当需要制作真实三维场景的全息体视图时,如果没有对应的三维数据,可以使用深度相机(RGB-D)来拍摄三维场景的视角图像,图像不仅包含场景的颜色信息而且包含对应像素的深度信息。依据参考面的数目和位置,一组深度相机的视角图像可以分为多组,在此基础上使用多参考面的EPISM方法对多组视角图像进行处理,在不需要获取真实场景的三维模型的前提下,可以得到打印真实场景所需的合成视差图像。
5 结论
详细分析EPISM方法存在的算法误差,除了位于算法参考面和光轴部分的三维场景图像,其余部分均存在像素块拼接错误,且距离算法参考面越远以及与光轴距离越大,图像的拼接误差越大。通过减小采样相机的间隔可以在一定程度上减小算法误差,为了进一步减小甚至消除算法误差,提出多参考面EPISM方法。首先将物体按深度范围分为多个部分,每一部分设置一个参考面,分别生成各部分的合成视差图像。理论和实验结果均证明多参考面的EPISM方法比单个参考面的EPISM方法具有较好的优越性,多参考面的设置尤其适用于场景深度较大的三维物体。目前,使用简单的参考面设置方式会忽视三维物体的几何分布,不利于更好地再现三维物体,因此优化参考面的数目、位置的选择以及其他一些问题是未来的研究工作。
[1] Lu Z X, Sakamoto Y. Holographic display method for volume data by volume rendering[J]. Optics Express, 2019, 27(2): 543-556.
[2] Liu P, Sun X D, Zhao Y, et al. Ultrafast volume holographic recording with exposure reciprocity matching for TI/PMMAs application[J]. Optics Express, 2019, 27(14): 19583-19595.
[3] Oi R, Chou P Y, Jessie J B, et al. Three-dimensional reflection screens fabricated by holographic wavefront printer[J]. Optical Engineering, 2018, 57(6): 061605.
[4] Blanche P A J, Bigler C M, Ka J W, et al. Fast and continuous recording of refreshable holographic stereograms[J]. Optical Engineering, 2018, 57(6): 061608.
[5] 张腾, 闫兴鹏, 王晨卿, 等. 赝像-正像转换算法在全息体视图打印中的应用[J]. 中国激光, 2019, 46(9): 0909001.
[6] 樊帆, 闫兴鹏, 李沛, 等. 针对一般情形的全息单元有效视角图像切片嵌合法全息体视图打印[J]. 中国激光, 2019, 46(12): 1209001.
[7] 陈祎贝, 闫兴鹏, 苏健, 等. 有效视差图像分割与重组的单步全息体视图打印方法[J]. 中国激光, 2019, 46(2): 0209002.
[8] Pole R. 3-D imagery and holograms of objects illuminated in white light[J]. Applied Physics Letters, 1967, 10(1): 20-22.
[9] Debitetto D J. Holographic panoramic stereograms synthesized from white light recordings[J]. Applied Optics, 1969, 8(8): 1740-1741.
[10] King M C, Noll A M, Berry D H. A new approach to computer-generated holography[J]. Applied Optics, 1970, 9(2): 471-475.
[11] Halle M W, Benton S A, Klug M A, et al. Ultragram: a generalized holographic stereogram[J]. Proceedings of SPIE, 1991, 1461: 142-155.
[12] Yamaguchi M, Ohyama N, Honda T. Holographic three-dimensional printer: new method[J]. Applied Optics, 1992, 31(2): 217-222.
[13] Yamaguchi M, Hoshino H, Honda T, et al. Phase-added stereogram: calculation of hologram using computer graphics technique[J]. Proceedings of SPIE, 1993, 1914: 25-31.
[14] Brotherton-Ratcliffe D. Dual mode holographic printer[EB/OL]. ( 2000-12-05)[2020-03-04]. https://www.researchgate.net/publication/292977117_DUAL_MODE_HOLOGRAPHIC_PRINTER.
[15] Su J, Yuan Q, Huang Y Q, et al. Method of single-step full parallax synthetic holographic stereogram printing based on effective perspective images' segmentation and mosaicking[J]. Optics Express, 2017, 25(19): 23523-23544.
Article Outline
张腾, 闫兴鹏, 王晨卿, 刘云鹏, 蒋晓瑜, 韩超. 多参考平面的EPISM全息体视图[J]. 中国激光, 2020, 47(9): 0909001. Zhang Teng, Yan Xingpeng, Wang Chenqing, Liu Yunpeng, Jiang Xiaoyu, Han Chao. EPISM Holographic Stereogram with Multi-Reference Planes[J]. Chinese Journal of Lasers, 2020, 47(9): 0909001.