长春理工大学计算机科学技术学院，吉林 长春 130022
针对立体图像的多维影响因素和预测结果准确性不足的问题，提出一种基于卷积神经网络-支持向量回归（CNN-SVR）的立体图像视觉感知客观评价模型。该模型将基于颜色的平面显著图和基于差异的视差图相结合，对其进行阈值分割，得到视觉感知潜在显著不适区域；然后进行特征提取，分别提取对比度、颜色、结构复杂度等全局特征和视差、纹理、空间频率等局部特征；最后采用将CNN和SVR相结合的方式构建多特征视觉感知客观评价模型，得到最终的客观预测值。实验结果表明，所提方法的Pearson相关系数高于0.87，Spearman相关系数高于0.83。与现有其他方法相比，在公开数据集上所提客观评价模型更优，预测结果与人们主观评价结果具有更高的一致性。
立体图像 视觉感知 特征提取 卷积神经网络 支持向量回归 客观评价模型 激光与光电子学进展
2023, 60(8): 0811027
宁波大学信息科学与工程学院，浙江 宁波 315211
立体图像的视觉变焦优化是近年来图像处理和计算机视觉领域热门的基础研究问题。3D图像的变焦视觉增强技术越来越受到关注。为此，本文从相机变焦拍摄的模型出发，提出一种基于网格形变的立体变焦视觉优化方法，力求提高3D立体视觉的体验。首先利用数字变焦方法模拟相机模型对目标区域进行适当的视觉放大，然后根据相机变焦距离建立起参考图像与目标图像之间的映射关系，并提取前景目标对象，接着使用改进型深度恰可察觉深度模型来引导目标对象的自适应深度调整。最后结合本文所设计的七个网格优化能量项，对图像网格进行优化，以提高该目标对象的视觉感，并确保整幅立体图像的良好视觉体验效果。与现有的数字变焦方法相比，所提出的方法在图像目标对象的尺寸控制方面和目标对象的深度调整方面都具有更好的效果。
立体图像 相机变焦 改进型深度恰可察觉深度模型 网格优化能量项 stereoscopic image camera focal length modified just noticeable depth difference model grid-optimized energy term
1 宜春学院网络与教育技术中心, 江西 宜春 336000
2 深圳西顺万合科技有限公司, 广东 深圳 518000
为使立体图像在3D显示时有更好的立体视觉效果和舒适度,提出一种针对立体图像水平视差的自适应调整方法来提高立体显示效果。通过特征点匹配获取拍摄场景的深度分布信息,提取最大深度和最小深度,结合当前的基线以及人眼可接受的最大视差和最小视差重新调整基线,直到获取合适的基线,从而保证拍摄场景在舒适立体成像区内成像。所提方法不会引起任何立体图像失真。为验证该方法对视差的控制效果,设计并完成了相应的实验。实验结果表明,该方法能够自适应调整视差,实现强烈的立体视觉效果。
成像系统 立体图像 视差 自适应调整 深度分布 基线 零视差平面 激光与光电子学进展
2019, 56(21): 211102
宁波大学信息科学与工程学院，浙江 宁波 315211
颜色传递是近年来图像处理和计算机视觉领域的热门研究问题，随着立体图像技术的发展，对于立体图像的颜色传递越来越受关注。本文提出一种双目立体图像的颜色传递方法，在完成颜色传递的同时力求提升用户的观看体验。根据用户实际需求，可以对目标对象进行颜色传递，而保持背景的颜色不改变。在本文提出的方法中，由用户指定图像对象，然后用图割的方法进行图像分割，根据所选对象与目标图像颜色特征的多元高斯模型匹配完成颜色传递。为了进一步增强观看效果，本文在颜色传递的同时进行非线性视差优化，从而提高目标对象的深度感。本文从不同立体图像库中随机选取图像进行实验，实验结果表明，本文方法中颜色传递和视差优化的结合，可以很好地提升立体图像的观看体验。
立体图像 多元高斯模型 颜色传递 视差优化 stereoscopic images multivariate generalized Gaussian distribution (MG color transfer disparity remapping
1 江南大学物联网工程学院, 江苏 无锡 214166
2 上海海事大学物流科学与工程研究院, 上海 200135
通过四元数小波变换分解立体图像的左右视图,获取不同尺度不同方向的幅值相位信息,并结合人眼视觉特性生成单目图;对左右视图和单目图作亮度去均值对比度归一化(MSCN)处理,获取MSCN系数图,采用广义高斯分布模型拟合MSCN系数和MSCN四方向邻域系数乘积,提取统计参数特征(联合峰度、偏度、标准偏差和能量),组成特征向量,通过XGBoost模型预测图像质量感知得分。结果表明,所提立体图像质量评价算法在LIVE3D图像库上优于其他方法,并且运行速度得到大幅度提高。
图像处理 立体图像质量评价 四元数小波变换 单目图 去均值对比度归一化 XGBoost 激光与光电子学进展
2019, 56(18): 181006
江南大学物联网工程学院江苏省模式识别与计算智能工程实验室, 江苏 无锡 214122
提出了一种基于图像融合的无参考立体图像质量评价算法。该算法利用小波变换分解重构立体图像的左右视图并融合在一幅图像中,归一化处理融合图像的亮度系数,均衡各部分亮度并保留融合图像的结构信息,使用卷积神经网络进行特征提取和回归预测。实验结果表明,所提方法的预测得分与人类主观评价得分具有很好的一致性。
图像处理 立体图像质量评价 图像融合 小波变换 亮度系数归一化 卷积神经网络 激光与光电子学进展
2019, 56(7): 071004
宁波大学信息科学与工程学院, 浙江 宁波 315211
针对建筑物检测特定应用,提出一种基于稀疏表示的失真立体图像全参考质量评价方法。首先构建了一种新的失真卫星立体图像数据库,使用角点检测和数字表面模型的高程信息进行建筑物检测,并根据失真图像检测角点变化,提出检测准确率指标来表示图像的失真程度;然后提出一种基于稀疏表示的客观评价模型,其分别提取原始图像和失真图像的尺度不变特征转换和二进制稳健不变尺度特征进行字典学习;利用稀疏表示测量原始图像和失真图像之间的相似性,得到4个质量分数;最后通过支持向量回归融合4个质量分数得到最终的客观评价值。在构建的数据库上进行测试,实验结果表明,皮尔逊线性相关系数值高于0.90,斯皮尔曼等级相关系数值高于0.87,与现有的评价方法相比,所提方法能更好地反映卫星立体图像的质量。
图像处理 全参考质量评价 卫星立体图像 建筑物检测 角点检测 数字表面模型高程信息 稀疏表示 光学学报
2018, 38(12): 1210002
长春理工大学 计算机科学技术学院, 长春 130022
针对立体图像舒适度难以有效地进行客观评价的问题, 结合人眼视觉注意机制, 提出了基于区域对比度的舒适度评价模型.根据显著图与视差图提取感兴趣区域作为前景区域; 量化前景和后景区域颜色空间, 估计空间加权区域对比度, 计算前景区域视差角、宽度角; 根据主观评价值利用最小二乘法拟合曲线得出客观评价模型.对比视差+宽度模型可知, 模型预测值与主观评价值的Pearson相关系数、Kendall相关系数较原模型分别提高了8.1%、3.9%, 且平均绝对值误差减小了13%, 均方根误差减小了22.1%.本文模型的普适性更优, 结果更接近主观评价值.
双目立体图像 视觉舒适度 对比度 感兴趣区域 客观评价 颜色空间 最小二乘法 Binocular stereo images Degree of visual comfortable Contrast Region of interest Objective evaluation Color space Least square method 光子学报
2018, 47(12): 1210002
