根据人类视觉系统(Human Visual System, HVS)中双目视觉信息处理的过程, 结合一系列图像特征, 提出一种基于双目信息融合的立体图像质量评价模型。该模型通过复小波变换模拟HVS对立体图像的融合过程。提取结构活跃度(Structural Activity, SA)以及相位一致性(Phase Congruency, PC)作为图像特征。最后通过度量融合图像特征的改变程度获得立体图像客观质量。采用本文所提出的客观评价模型对立体图像数据库进行评价, 其线性相关系数值在0.92以上, 均方根误差值接近6, 异常值比率值为0%。实验结果表明, 该模型符合人眼视觉特性, 能够很好地预测立体图像质量。

采用Adaboost人脸检测算法, 对输入样本进行Haar特征提取, 从中选择出甄别效率最高的Haar特征, 然后将训练得到的Haar特征转换为弱分类器, 进一步将弱分类器组合成强分类器, 通过肤色确定候选点, 然后用强分类器进行人脸的检测, 进一步利用混合投影峰分析检测人眼的位置。通过C++实现了该算法, 完成了人脸检测算法的DSP程序移植。实验结果表明, 该DSP系统可以有效的实现人眼检测。

阐述了一种无分辨率损失的多用户自由立体显示装置。本装置包含指向背光模块、人眼跟踪装置和控制接口模块, 基于时分原理, 可使刷新率为120Hz的普通平面LCD提供立体视觉效果。其所采用的新型指向性背光结构, 在实时、精确的人眼跟踪装置的控制下, 可在观察者左右眼处分时形成随动的对应观察窗口, 让观察者左眼只看到左图像右眼只看到右图像, 从而实现自由立体显示。并且, 本装置显示的立体图像无分辨率损失, 只需一对视差图像, 便可满足多人同时观看。

景深提取算法的研究是近年来兴起的热点, 其在三维重建的流程中发挥着最重要的作用。本文将要探讨利用微软产品Kinect for windows进行景深提取, 我们利用Kinect SDK进行接口编程, 提取出相同时间相同场景下所对应的深度图和RGB图像, 并对图像作伸缩和剪切处理使得两幅图像对应像素对齐, 对于无法检测的区域利用改进的中值插值算法来重建深度信息。最后将处理后的深度图和RGB图像制作成符合条件的2D+Z格式, 在柱状透镜裸眼显示器终端上显示。

通过对集成成像串扰特性研究, 提出亚像素的集成成像微透镜阵列的制作方案。为了获得串扰最小, 莫尔条纹干涉最少的3D成像效果最好的子图透镜排列, 以红绿蓝子像素为视点, 设计了不同尺寸的透镜和子像素排列方式。理论分析了传统微透镜阵列和亚像素微透镜阵列的串扰情况, 证明了亚像素方法的可行性。

提出基于超像素分割, 并联合自回归模型的深度复原方法。首先对已获取的场景彩色图进行过分割, 得到彩色图中每个像素的标号, 然后构建基于已分割彩色图像指导的自回归模型: 根据像素标号对自回归模型系数进行预测, 通过优化预测系数差错来实现深度图恢复。实验表明, 该算法不仅能有效恢复出深度图, 而且在结构边缘细节处更加突出, 优于目前主流的方法。

在特定的实验条件下, 利用脑电图仪采集10名志愿者观看4个3D影像的脑电信号, 提取各时段的重心频率(Gravity Frequency , GF), 对重心频率进行数据整合处理；测量志愿者观看3D片源各时段的视差, 并转换为对应的会聚角(Optical Angle), 重心频率与会聚角的值进行相关性分析和曲线拟合处理。结果显示: 经过数据合并处理后, 脑电EEG(electroencephalogram)重心频率与观看3D影像时的会聚角存在一定的线性关系, 拟合优度最高的是三次曲线, 观看3D影像时的会聚角在1.778°～3.254°时重心频率呈现下降趋势, 这说明在此范围可能更容易使人感到不适。

为了降低JMVC(Joint Multiview Video Coding 联合多视点视频编码)编码复杂度, 提出一种根据前一编码宏块参考方向和率失真代价, 提前终止JMVC模式选择的算法。该算法首先获取前一宏块的率失真代价和参考方向, 随后根据前一宏块参考方向为当前宏块的搜索设定一个率失真代价门限, 最后利用此门限实现提前终止。实验结果显示, 相比于JMVC原始算法, 本文算法的编码质量没有下降, 而编码时间节省了34.86%~54.23%。算法可以在保证编码质量的前提下, 有效地较低编码复杂度。

提出了一种多平面迭代算法, 通过计算多个平面之间光波的前向和后向传播得到全息面的相位分布的恢复, 并且用各个平面上的目标图像的振幅来限定传播过程中的光强。该方法将三维的光场分布离散化为相干光在多个二维平行平面上的同时调制, 大幅减少了全息计算量。利用纯相位空间光调制器加载计算全息图, 在三个屏幕上依次得到三个不同景深的图像, 对于人眼调焦过程进行了模拟, 实现了多平面真三维显示。系统简单, 对于运算处理与显示器件的要求不高, 易于实现。

提出了一种改进的时分复用方法, 采用同步控制电路控制两段式彩色滤光轮的转动速度与全息图的切换速度一致, 通过两次切换全息图, 即可实现傅里叶计算全息图的真彩色显示。该方法通过缩放处理来消除再现像的色差, 并采用迭代傅里叶算法制作了两幅包含有彩色信息的合成相位全息图, 使记录着单一颜色场景信息的全息图再现时只占用空间光调制器(SLM)的1/2区域。此方法实现了白光LED真彩色全息显示, 减少了传统时分复用方法加载全息图的次数, 对SLM刷新率的要求也降低了1/3。实验验证了此方法的可行性。

利用手持彩色和深度摄像头(Kinect)作为图像采集设备, 在KinectFusion算法的基础上进行了扩展, 实现了一个人与虚拟屏幕直接触碰交互的增强现实系统。本文提出一种腐蚀膨胀的方法提取场景中的运动物体, 借助深度图采用分层渲染的方法实现虚实物体互遮挡效果, 最后采用一种体素碰撞检测的方法解决人与屏幕的碰撞检测问题。系统的实现过程中采取GPU并行处理, 显著提高了算法速度。

提出一种基于不同微透镜阵列参数的集成成像微图像阵列生成方法。在该方法的拍摄过程中, 首先通过微透镜阵列1拍摄三维场景获得微图像阵列1, 再通过一个包括虚拟显示和虚拟拍摄两个步骤的像素映射算法, 生成与微图像阵列1参数不同的微图像阵列2。在显示过程中使用的微透镜阵列2与拍摄时的微透镜阵列1具有不同的参数, 微图像阵列2通过微透镜阵列2重建出全真的3D图像, 重建的3D图像没有图像缩放和畸变。同时本文还推导了微图像阵列1、2和微透镜阵列1、2各参数应满足的数学关系。实验结果验证了理论推导的正确性。

选取场景中常见的门形结构为处理对象, 提取门形结构中的三条直线, 拟合直线方程, 进而确定直线的交点及两条平行直线的消失点, 根据消失点原理和垂直关系等先验知识确定摄像机坐标系和世界坐标系的映射。空间解析过程以直线方程为基本要素, 参与解析运算的点特征均由直线方程确定, 随机选取的点坐标仅用于方向一致性判定, 减少了随机误差引入。仿真实验表明, 本文的视觉定位方法对噪声有较高的鲁棒性, 与融合线特征和随机点特征的方法相比降低了定位误差。

提出了一种基于AVI(Average Information Value)的立体图像合成算法。该方法对左右视图相同坐标位置的像素值进行线性加权得到中间视图；然后, 将生成的中间视图与左右视图合成, 生成合成图像。仿真和实验表明所提出的立体图像合成算法能够扩大3D手机的立体可视区域, 并且降低非最优观看区串扰, 对手机立体显示具有重要意义。

为准确反映人眼在观看立体视频过程中的视觉舒适程度, 提出了一种基于特征区域分割的立体视频视觉舒适度评价方法。首先自适应地分割提取出立体视频序列中的人眼的感兴趣区域, 以及相邻帧间的运动区域, 然后结合深度感知理论和空间合并技术, 对视觉舒适度这一特征量进行建模, 最后实现对立体视频视觉舒适度的评定。实验结果表明, 使用本文的方法对立体视频视觉舒适度进行评价, 可以很好的模拟人眼直接观测的视觉感受, 对于视觉舒适度的研究具有重要的参考价值。

随着3D显示技术的发展, 在显示技术中需要对人脸进行精确检测以及对五官进行精确定位。提出了将亮瞳效应、运动帧间差分投影和多模板ASM匹配集于一体的人脸检测方法。首先利用亮瞳效应找出可能包含的人脸区域；然后利用差影法对可能包含的区域进行进一步筛选缩小范围；最后利用多模板ASM方法进行精确定位。此方法发挥各种检测算法的优势, 准确率较高, 对姿态、表情、背景等变化情况下人脸的检测具有较好的鲁棒性。

通过采集志愿者观看背景视差过大的3D影片前后的脑电数据, 来研究该效应对人体健康的影响。实验共选取20例有效样本, 利用快速傅里叶变换法(FFT)提取特征波段, 计算出各频带的能量和功率, 并由此得到功率谱和重心频率。此外还设计问卷定性了解志愿者的疲劳程度。根据主观疲劳问卷和对比看前看后的脑电参数, 分析了观看背景视差过大的3D影片后人体脑电信号变化的关系。实验结果表明志愿者看前看后的各项脑电参数出现了改变, 并全部主观反映出现疲劳。因此脑电参数结合主观问卷可成为3D影片疲劳评估的参考指标。

左右视图不协调是影响立体显示舒适度的重要因素之一, 色度偏差是不协调性的重要指标之一。ERP(event-relation-potentials),即事件相关电位, 与特定的物理事件或心理事件在时间上相关的电压波动, 通过叠加技术从EEG(electroencephalography)中提取的信号。ERP时间分辨率高、客观性强, 能够客观地实时地反应人类心理活动, 可以用于舒适度方面的客观评价。本文结合行为数据分析和ERP分析, 从色度偏差指标研究左右视图不协调在立体显示舒适度方面的影响。研究结果表明, 色度偏差可在大脑皮层诱发可测ERP信号, 色度偏差在20°以内被试感觉不到明显的不协调, 偏差等级越大, 被试的不协调感越强烈。ERP分析结果与行为数据分析结果相符一致, 说明ERP可以用来评价色度偏差产生的左右视图不协调对立体显示舒适度的影响。