激光与光电子学进展, 2021, 58 (2): 0200003, 网络出版: 2021-01-11  

三维网格客观质量评价 下载: 1012次

Objective Quality Assessment for Three-Dimensional Meshes
作者单位
1 宁波大学信息科学与工程学院, 浙江 宁波 315211
2 南京大学计算机软件新技术国家重点实验室, 江苏 南京 210093
摘要
随着三维网格在数字游戏、影视动画、虚拟现实等领域的广泛应用,针对三维网格的处理方法也越来越多,包括压缩、简化、嵌入水印和去噪等,这些处理技术均不可避免地导致三维网格的失真。如何更好地评估三维网格的视觉质量成为目前亟需解决的问题。回顾了近20年来发展起来的三维网格的客观质量评价方法。介绍了这一领域常用评价方法的技术指标以及常用的数据库;对现有的典型三维网格的质量评价方法进行了分类并介绍了其各自的特点;在常用的数据库上对所介绍的典型算法进行性能测试和比较;对三维网格客观质量评价方法进行了总结与展望。
Abstract
With the wide applications of three-dimensional (3D) meshes in digital entertainment, television animation, virtual reality, and other fields, there are more and more processing techniques for 3D meshes, including compression, simplification, watermarking, and denoising. These processing techniques will inevitably lead to various distortions in 3D meshes. Therefore, how to preferably evaluate the visual quality of 3D meshes becomes an urgent problem to be solved at present. This paper reviews the objective quality assessment methods for 3D meshes developed during the past 20 years. First, some technical indexes for 3D mesh quality assessment and several public databases are introduced. Second, the quality assessment methods for existing typical three-dimensional meshes are classified, and their respective characteristics are introduced. Then, the typical algorithms introduced in the commonly used databases are tested and compared. Finally, the objective quality assessment methods of 3D meshes are summarized and prospected.

1 引言

三维网格能够提供比普通图像更加逼真的视觉信息,给用户带来“身临其境”的体验[1]。随着多媒体技术的快速发展,三维网格在智能制造、影视动画、数字城市、虚拟现实等领域的应用也越来越广泛[2-3]。在实际应用中,三维网格通常会经过压缩[4-5]、简化[6]、嵌入水印[7]、重建[8-9]等处理,这些处理均不可避免地导致三维网格发生失真。因此,建立一种能够准确评估三维网格视觉质量的方法十分关键,以最大程度地减小三维网格的失真。三维网格质量评价可分为主观与客观质量评价两类[10]。主观质量评价结果反映了人类的主观感知,但是该方法费时费力,成本昂贵,并且人为的不确定因素易导致误差。因此,需要研究与人类主观感知具有良好一致性的客观质量评价方法。三维网格客观质量评价方法根据评价时是否需要参考三维网格,可分为全参考(FR)、半参考(RR)和无参考(NR)质量评价三类,其中无参考的三维网格客观质量评价(NRMQA)也称盲网格质量评价(BMQA)[11]。全参考的方法的准确性比较高,但其缺点是需要提供无失真的参考网格,而这在实际应用中往往很难得到。半参考的方法在评价三维网格时,不需要将失真网格与参考网格相比较,而只需要将失真网格的某些特征与参考网格的相同特征进行比较。无参考的方法则不需要参考网格,因此具有更加广泛的应用,但由于没有参考对象,其实现难度大于全参考和半参考的方法。

目前,三维网格客观质量评价方法众多,因此,本文在介绍该领域中常用的算法性能指标和典型的三维网格数据库后,对近十几年来发展起来的典型的三维网格客观质量评价方法进行梳理和分析,对每一类方法中的主要方法进行了简要介绍,并对各种方法的优缺点进行分析。使用以上典型方法和数据库,对所介绍的典型的三维网格客观质量评价方法进行性能测试,对实验结果进行比较分析,最后对三维网格客观质量评价方法未来的发展趋势进行总结与展望。

2 三维网格客观质量评价方法指标与数据库

三维网格客观质量评价方法有很多,如何评价模型的最终性能也需要有一定的衡量准则。为了使不同的三维网格客观质量评价方法之间的比较更加方便、更具说服力,大部分的研究者会将自己所提出的方法在一些公开的三维网格数据库上进行测试,并采用某些指标来衡量所提出的方法。因此在本节中先介绍用于衡量三维网格客观质量评价算法性能的指标,然后描述目前典型的三维网格数据库。

2.1 采用算法性能评价指标

三维网格客观质量评价算法的结果要与主观评价的结果相一致。因此,目前学术界通常以算法评价值和平均主观意见值(MOS)的误差和相关性来衡量客观质量评价算法性能的优劣。算法评价值与MOS的误差越小,其相关性越强,说明客观评价越准确。目前,三维网格客观质量评价算法的评价标准主要采用两个技术指标:线性相关系数(PLCC)[12]和Spearman秩相关系数(SROCC)[13]。PLCC能够反映主观评价与客观评价之间的线性相关程度,而SROCC则反映客观评价预测值与主观评价值在幅度上的一致程度,PLCC和SROCC越接近1,客观评估方法的评价性能越好。

2.2 典型三维网格数据库

为了采用更好的、更科学的方法来比较三维网格客观质量评价算法的性能,需要在公开的数据库上进行测试。目前,较为典型的三维网格客观质量评价的数据库为LIRIS/EPFL general-purpose[14]和LIRIS_Mask[15],下面分别对这两个数据库进行介绍。

1) LIRIS/EPFL general-purpose

LIRIS/EPFL general-purpose数据库是由法国里昂大学和瑞士苏黎世联邦理工学院联合开发的,已经被广泛用于三维网格客观质量评价方法的性能测试。该数据库共有88个三维网格,其中包括4个参考三维网格和84个失真三维网格。每个网格都具有很强的代表性,它们均由4万~5万个顶点、8万~9万个三角网格面组成。原始网格分别为Armadillo、Venus、Dinosaur和Rockerarm,如图1所示。失真网格包含了两种类型的失真:随机噪声和平滑失真。随机噪声添加区域分4种类别:整个区域、光滑区域、粗糙区域和中间区域(即除光滑区域和粗糙区域的部分);平滑滤波器则分别对整个区域、粗糙区域和中间区域进行平滑。每个特定区域的每种失真类型包含三个不同失真等级,用于模拟压缩、简化、嵌入水印等过程中产生的不同程度、不同种类的失真。

图 1. LIRIS/EPFL general-purpose原始三维网格。(a) Armadillo;(b) Venus;(c) Dinosaur;(d) Rockerarm

Fig. 1. Original 3D meshes of LIRIS/EPFL general-purpose. (a) Armadillo;(b) Venus;(c) Dinosaur;(d) Rockerarm

下载图片 查看所有图片

2) LIRIS_Mask

LIRIS_Mask数据库主要用于研究人类视觉掩蔽效应的客观质量评价算法。该数据库共有28个三维网格,其中包括4个参考三维网格和24个失真三维网格。原始网格分别为Armadillo,Dinosaur,Lion Head和Bimba,如图2所示。该数据库主要用于研究人类的视觉掩蔽效应,因此该数据库中的4种原始三维网格均根据不同的粗糙度被分成两个区域,即相当粗糙的顶点区域和相当平滑的顶点区域,然后分别在不同区域加入三个不同等级的噪声。

图 2. LIRIS_Mask原始三维网格。(a) Armadillo;(b) Dinosaur;(c) Lion Head;(d) Bimba

Fig. 2. Original 3D meshes of LIRIS_Mask. (a) Armadillo;(b) Dinosaur;(c) Lion Head;(d) Bimba

下载图片 查看所有图片

3 三维网格客观质量评价方法

现有的三维网格客观质量评价方法主要分为基于图像的三维网格客观质量评价方法和基于模型的三维网格客观质量评价方法。基于图像的三维网格客观质量评价方法是根据失真网格和原始网格在某一视点或者多个视点显示图像的差异来评价失真网格的质量,这种评估方法通常使用一些二维度量方法估计三维网格的质量[16],如峰值信噪比(PSNR)、结构相似性(SSIM)[17]、 方差膨胀系数(VIF)[18]、VDP(visible difference predictor)[19]等。这种方法可以在一定程度上解决与三维网格相关的一些问题,但是,相关研究表明基于三维网格的视觉感知与实际应用中的真实感知并不相同,并且基于图像的方法会因为其仅考虑有限的视点而无法充分利用模型的相关信息。基于模型的三维网格客观质量评价方法的输入对象是网格本身,主要通过对比失真网格模型和原始网格模型的差异来进行评价,这种方法更具有科学性。因此,基于模型的方法是目前三维网格客观质量评价研究的主要方向。基于此,本文将基于模型的三维网格客观质量评价方法分为全参考、半参考和无参考三类,并对每一种类型的方法进行总结与分析。

3.1 基于模型的全参考三维网格客观质量评价方法

目前的三维网格客观质量评价方法大多数是属于全参考的方法,这类方法在评价时需要使用无失真的参考网格对失真三维网格进行失真度量,因此其评价结果的准确性相对较高。本节主要介绍几种典型的全参考三维网格客观质量评价方法,包括基于几何距离、基于几何拉普拉斯、基于网络结构、基于二面角等的方法,具体如表1所示。

表 1. 全参考三维网格客观质量评价方法

Table 1. FR 3D mesh objective quality assessment method

TypePrincipleMethod
FRGeometric distanceHD[20], RMS[21]
Geometric LaplacianGL1[22], GL2[23]
Network structureMSDM[14]
Multi-scale/structureMSDM2[24]
Dihedral angleDAME[25]
CurvatureTPDM[26], Dong[27]

查看所有表

1) 基于几何距离的三维网格客观质量评价方法

基于几何距离的三维网格客观质量评价方法主要有基于Hausdorff距离[20]和基于均方根误差[21]的方法。基于均方根误差的方法于1998由Cignoni等[21]提出,这种方法考虑了失真网格与参考网格各个顶点的坐标差值,其衡量依据在于:失真网格与参考网格之间的坐标差值越大,则表示失真网格的失真越严重。这种方法在一定程度上反映了失真网格与参考网格的差别,但这种差值的变化趋势与网格失真程度并不一定呈正相关,并且这种方法的评价结果与人类主观评价结果的一致性较差。基于Hausdorff距离的方法于2002年由Aspert等[20]提出,这种方法利用Hausdorff 距离测量网格的平面距离。这类基于距离计算的方法主要通过计算失真三维网格与无失真的参考三维网格之间的几何绝对距离来度量失真的三维网格的质量,其优点在于计算过程简单便捷、效率较高,而且能够大致反映出失真网格的失真情况。但是三维网格在应用中会发生旋转、缩放以及变形等,导致网格顶点间及网格表面间的绝对距离发生改变,而这种几何距离的改变不应视为网格的失真程度发生改变,因此,基于几何距离的三维网格客观质量评价方法的结果与人类主观视觉的一致性较差。

2) 基于几何拉普拉斯的三维网格客观质量评价方法

基于几何拉普拉斯的三维网格客观质量评价方法主要是GL1[22]和GL2[23]。Karni等[22]将网格顶点几何坐标的差值与顶点的几何拉普拉斯算子(GL)差值结合起来,度量了失真网格表面的光滑程度,从而对失真网格模型质量进行评价。这种方法在考虑几何距离的基础上,又考虑了人类视觉的感知特性,从而在一定程度上改进了评价方法的性能。随后,为了更进一步地提升算法性能, Sorkine等[23]改进了上述算法。考虑到客观质量评价算法的最终目的是使客观评价得出的预测值与主观评价的预测值一致,而基于几何拉普拉斯的方法既考虑了几何差异,也考虑了人类视觉感知特性,因此,在改进过程中,Sorkine等提高了衡量感知特性部分的权重,从而提高了算法的性能。然而,基于几何拉普拉斯的算法的性能依旧比较低,并不适合用于优化其他处理三维网格的算法。

3) 基于网格结构的三维网格客观质量评价方法

考虑到相比于三维网格的几何坐标信息,曲率能够更加准确地反映三维模型的视觉特征,而人类对曲率的变化也十分敏感,Lavoué等[14]提出了一种基于网格结构失真测量的方法,即MSDM。该方法将二维图像的质量评价指标SSIM[17]扩展到三维网格,将评价二维图像的SSIM算法的原理扩展到三维网格的质量评价上,从网格曲率的均值、对比度和结构相似度三个方面对比失真网格模型和参考网格模型结构之间的差异。随后Lavoué等[24]对MSDM进行了改进,提出了多尺度网格结构失真测量的方法,即MSDM2。MSDM2加入了多尺度曲率的分析,即在不同尺度的窗口中均计算了网格顶点邻域的均值、对比度及结构相似度,这使得三维网格客观质量评价方法的准确性得到提高,同时实验结果也表明,该方法的预测值与人类主观视觉有良好的一致性。

4) 基于其他感知特性的三维网格客观质量评价方法

人类视觉系统存在视觉隐蔽效应,比如对于较粗糙的网格,人类对引入噪声的感知不是特别敏感;而对于光滑网格,人类对引入噪声的感知十分敏感。因此,Váša和 Rus[25]测量了参考网格和失真网格之间的二面角差异,引入了视觉隐蔽效应,提出一种面向二面角的网格失真度量方法,即DAME。在该工作中,参考网格和失真网格之间的二面角角度用于构建全局粗糙度度量。

Torkhani等[26]比较了参考网格和失真网格曲率张量之间的距离,提出了一种基于张量感知距离的方法,即TPDM,然后通过基于粗糙度的局部张量距离加权来解释人类视觉系统的视觉掩蔽效应,从而进一步评价三维网格的视觉质量。该方法充分考虑了人类感知特性,因此具有较高的质量评价性能。

除了考虑视觉隐蔽效应,Dong等[27]还考虑了人类的视觉饱和效应,这是由于在高度的三维网格失真条件下,人类视觉系统对高度的粗糙失真的敏感度会下降。因此,Dong等通过引入视觉隐蔽效应和视觉饱和效应,提出了一个基于结构相似性和感知粗糙度相似度的网格质量评价方法。这项工作中利用各顶点的曲率信息来定义网格的粗糙度,然后结合两个模型之间的结构相似性得出失真网格的最终质量分数。该方法充分考虑了人类的感知特性,因此也具有较高的质量评价性能。

3.2 基于模型的半参考三维网格客观质量评价方法

半参考三维网格客观质量评价方法在评价网格质量时不需要将失真网格与参考网格直接进行比较,而只需要将失真网格的某些特征与参考网格的相同特征进行比较。目前关于半参考的三维网格客观质量评价方法较少,本节主要介绍了几种典型的半参考的三维网格客观质量评价方法,包括基于全局粗糙度、基于局部粗糙度、基于统计分布提取参数等的方法,具体如表2所示。

表 2. 半参考三维网格客观质量评价方法

Table 2. RR 3D mesh objective quality assessment method

TypePrincipleMethod
RRGlobal roughness3DWPM1[28], 3DWPM2[29]
Local roughnessFMPD[30]
Statistical distribution/Dihedral angleKLD Gamma[31]KLD Weibull[31]

查看所有表

1) 基于粗糙度的三维网格客观质量评价方法

人类对三维网格表面的粗糙程度的变化感受十分敏感,因此,Corsini等[28]和Gelasca等[29]分别提出了一种度量网格表面粗糙度的方法,即3DWPM1和3DWPM2。第一种度量方法考虑了三维网格中相邻的两个三角拓扑面之间的角度,如果两个三角拓扑面的夹角较大,则表明该区域的法向量波动很大,该区域就比较粗糙;反之,如果两个三角拓扑面之间的角度较小,则表明该区域比较光滑。第二种度量粗糙度的方法是基于平滑滤波而实现的,其基本思想是先对失真网格进行平滑处理,然后根据经过平滑滤波器平滑后的网格模型与平滑前的网格模型之间局部的方差来度量粗糙度,最后对所有顶点的粗糙度进行求和,得到全局粗糙度。如果平滑前的失真网格模型表面比较平滑,那么计算得到的局部方差就比较小,反之,局部方差就很大。该方法的优势在于考虑了人类对粗糙程度变化十分敏感的特点,但也存在着一定的局限性,它比较适用于检测失真类型为引入噪声的网格,而对于失真类型为平滑的网格,采用3DWPM2[29]的方法则很难检测出失真网格与参考网格的差异。因此,开发出一种适用于不同失真类型的客观质量评价算法十分重要。

随后,Wang等[30]从局部粗糙度的角度提出了快速网格质量评价方法,即FMPD,通过粗糙度的变化来预测失真网格与参考网格之间的感知差异。这种方法分别对参考网格和失真网格进行局部粗糙度分析、局部粗糙度调节和整体粗糙度计算,然后根据参考网格和失真网格在整体粗糙度上的差异预测二者之间的差异。局部粗糙度分析主要基于高斯曲率估计;局部粗糙度调节主要是对局部粗糙度进行了视觉掩蔽效应和心理饱和效应的调节,以提高客观质量评价结果与人类的主观感知的一致性;整体粗糙度计算则是对调节后的局部粗糙度进行加权组合,从而得到三维网格的整体粗糙度。

2) 基于统计分布提取参数的三维网格客观质量评价方法

一些研究人员,如Abouelaziz等[31]采用统计分布的方法对失真网格进行质量评价,提出了KLD Gamma和KLD Weibull方法。这两种方法使用不同的统计分布模型来提取两个随机变量集的参数,第一组随机变量集是参考网格的二面角,第二组随机变量集是失真网格的二面角。两组变量之间的Kullback-Leibler偏差被视为两种网格之间的感知距离。这两种方法的优点在于计算过程比较简单,并且具有较为良好的性能,但是其缺点在于未能集成较多的人类视觉系统特征,因此这两种方法得到的结果与人类主观感知的一致性还有待提高。

3.3 基于模型的无参考三维网格客观质量评价方法

无参考三维网格客观质量评价方法不需要参考网格,因此这类方法在实际中具有更加广泛的应用,但是其缺点在于无参考方法的实现难度大于全参考和半参考的方法。目前,关于无参考的三维网格客观质量评价方法大多采用统计相关的特征分布,主要研究团队为Mohammed V University of Rabat的Abouelaziz等。本节主要介绍了几种典型的无参考三维网格客观质量评价方法,具体如表3所示。

表 3. 无参考三维网格客观质量评价方法

Table 3. NR 3D mesh objective quality assessment method

TypePrincipleMethod
NRStatistical distribution/Dihedral angleNR-SVR[32]
Mean curvature/Dihedral angleNR-SVR[33]
Dihedral angleNR-SVR[11]
Shape index/Curvedness/Vertex scatter/AreaNR-SVR[34]
Graph spectral features/Spatial featuresBMQA-GSES[35]

查看所有表

2016年,Abouelaziz等[32]开始将三维网格客观质量评价方法研究的关注点转移到无参考的方式,提出了一种NR-SVR的方法,该方法的贡献在于无需参考网格,并且不需要事先知道失真网格的失真类型。该方法首先提取失真网格的二面角特征,并根据人类视觉系统的主要特征对二面角进行视觉隐蔽调制,然后采用Gamma模型对调制后的二面角的分布进行拟合,最后将Gamma模型估计出的参数输入到支持向量回归模型中以预测失真网格最终的质量分数。该方法并未直接将提取的所有特征输入到支持向量回归模型中,而是对这些特征分布的相关参数进行了统计,这种方式可以节省算法的计算时间,从而提高算法的效率。尽管该方法考虑了人类视觉系统中的视觉隐蔽效应,但是没有考虑到人类视觉系统的视觉饱和效应,因此,在未来的工作中,需结合更多其他人类视觉特性来提高客观质量评价的准确性。

2017年,Abouelaziz等[33]基于网格的平均曲率和二面角,提出了一种基于深度学习的无参考三维网格客观质量评价方法。具体地,该方法先提取两个感知特征,接着将提取的特征重新组成2-D小块,作为卷积神经网络(CNN)的输入,然后对输入的2-D小块进行训练并测试,最终得到失真网格的质量分数。该方法采用了深度学习的方式,具有较高的准确性,但是其考虑的特征依旧局限于网格的平均曲率和二面角两种常规的特征,因此,在未来的工作中,需探索并结合更加新颖且能反映三维网格视觉信息的相关特征来提高客观质量评价方法的性能。

2018年,Abouelaziz等[11]提出了一种新的无参考的三维网格客观质量评价方法。这种方法依赖于基于特征学习的方式来预测客观质量分数。该方法首先提取二面角,接着进行视觉隐蔽效应调制,再采用三种不同的统计模型对二面角进行统计并得出对应的参数,该参数作为特征输入到支持向量回归模型中,最后将三者的分数进行加权得到三维网格的最终的客观质量分数。该方法采用了多种统计分布模型,可以弥补单一模型估计不全面的劣势,并且该方法考虑了人类视觉特性,因此该方法具有较好的客观质量评价性能。然而,与文献[ 24]中的方法类似,该方法也没有考虑到人类视觉系统的视觉饱和效应。

考虑到近年来大多数研究者提取的三维网格特征依旧停留在几何距离、粗糙程度、曲率、网格结构和二面角等几何特征,2019年,Lin等[34]从三维网格的凹凸信息和结构信息两个方面出发,提出了一种无参考的三维网格客观质量评价方法。在此方法中,形状指数和弯曲度被定义为描述三维网格凹凸信息的特征,顶点散乱度和三角面面积被定义为描述结构信息的特征,对提取的所有特征进行广义高斯分布拟合,然后估计出对应的参数,最后用随机森林进行融合,通过训练预测得到三维网格的客观质量分数。该方法选取的特征比较新颖,不再是常规的几种视觉特征。然而,该方法并未充分考虑到人类的视觉特性,如视觉隐蔽效应和视觉饱和效应等。因此,如何挖掘并结合更多的人类视觉特性以进一步提高客观质量评价方法的性能是未来三维网格客观质量评价研究的重点与难点。

为了提高三维网格客观质量评价结果的准确性,2020年Lin等[35]发现网格顶点之间的相似性和相关度不能很好地反映在空间域的特征上,因此,他们利用图形信号处理(GSP)技术[36]将三维网格的相关特征转化到图谱域上,然后采用合适的图谱域特征稀疏地表示三维网格的失真情况以揭示三维网格在图谱域的潜在形状特征,再结合部分空间域的特征,提出了一种无参考的三维网格客观质量评价方法。该方法的优点在于尝试结合空间域和其他变换域特征来共同描述三维网格的失真情况,提高了质量评价模型预测的准确率。然而,该方法在图谱域只考虑了信号的幅度信息,没有充分利用图形信号的相位等其他有效信息来衡量失真网格的失真情况。因此,如何充分挖掘变换域的其他信息以对三维网格进行质量评价也是未来需要进一步研究的内容。

4 各种评价方法对比分析

为了比较直观地了解目前研究人员对于三维网格客观质量评价方法的研究进展,本文在LIRIS/EPFL general-purpose数据库[14]和LIRIS_Mask数据库[15]上进行了典型算法的性能对比实验。各算法性能的评价指标为PLCC和SROCC。各种算法在LIRIS/EPFL general-purpose数据库上的性能指标比较结果如表4所示,各种算法在LIRIS_Mask数据库上的性能指标比较结果如表5所示,其中,每一类算法的最高相关系数以粗体突出显示。显然,不同的评价算法之间的性能差异较大,在不同的数据库上也有不同的性能表现。

表 5. 不同方法在LIRIS_Mask数据库上的性能比较

Table 5. Performance comparison of different methods on LIRIS_Mask database

TypeMethodPLCC /%SROCC /%
FRHD[20]20.226.6
RMS[21]41.248.8
GL1[22]39.642.0
GL2[23]38.340.1
MSDM[14]69.265.2
MSDM2[24]87.389.6
DAME[25]58.668.1
TPDM[26]88.690.0
Dong[27]92.692.5
RR3DWPM1[28]31.929.4
3DWPM2[29]42.737.4
FMPD[30]80.880.2
KLD Gamma[31]64.074.3
KLD Weibull[31]74.666.6
NRNR-SVR[32]91.290.4
NR-SVR[33]85.488.2
NR-SVR[11]89.191.1
NR-SVR[34]90.160.0

查看所有表

纵观所有典型的全参考的三维网格客观质量评价算法,可以得出以下结论:

表 4. 不同方法在LIRIS/EPFL general-purpose数据库上的性能比较

Table 4. Performance comparison of different methods on LIRIS/EPFL general-purpose database

TypeMethodPLCC /%SROCC /%
FRHD[20]11.413.8
RMS[21]28.126.8
GL1[22]35.533.1
GL2[23]42.439.3
MSDM[14]75.073.9
MSDM2[24]81.480.4
DAME[25]75.276.6
TPDM[26]84.180.4
Dong[27]87.786.6
RR3DWPM1[28]61.869.3
3DWPM2[29]49.649.0
FMPD[30]83.581.9
KLD Gamma[31]74.071.6
KLD Weibull[31]74.171.7
NRNR-SVR[32]87.881.5
NR-SVR[33]82.783.6
NR-SVR[11]86.884.6
NR-SVR[34]87.881.9
BMQA-GSES[35]90.587.9

查看所有表

1)HD[20]和RMS[21]在两个数据库上的性能均比较低,这说明了基于几何距离的方法通常无法反映感知的视觉质量,这两种方法得到的结果与人类感知的一致性很差,因此这两种方法无法准确预测三维网格的质量。

2)相比于上述两种方法,其他几种考虑了人类感知特征的方法(如MSDM[14]、MSDM2[24]、DAME[25]、TPDM[26]和Dong[27])的评价性能明显得到了提高,这是因为这些方法不再简单地考虑三维网格顶点的绝对坐标,而是结合了人类主观感知的特性,考虑了失真网格表面的粗糙度、平滑度和网格结构等特点。结合人类主观感知特性的方法更加具有科学性,同时实验结果也表明,这几种方法预测的三维网格质量与主观评价质量的一致性得到了较大的提升,其中Dong[27]的性能最佳。半参考的三维网格客观质量评价算法并未直接将失真网格和参考网格进行对比,而是比较了它们之间的某些特征,因此其实现难度要略大于全参考的评价方法。实验结果也表明,目前该类算法中性能最好的方法并未超过全参考方法中性能最好的方法,即FMPD[30]的性能差于Dong[27]。而值得注意的是,近年来提出的几种无参考的三维网格客观质量评价算法的性能指标均较好。这说明尽管无参考的三维网格客观质量评价方法在评价失真网格质量时没有参考原始网格的相关信息,但是通过充分考虑三维网格的失真特性和人类视觉的感知特性,还是能开发出与主观质量评价具有高度一致性的客观质量评价方法。此外,相比于全参考的客观质量评价方法,无参考的客观质量评价方法在现实中具有更大的应用价值,是未来研究的重点方向。

5 结论

目前,已有的三维网格客观质量评价算法大都是全参考的客观质量评价方法,其性能不断提高。全参考的三维网格客观质量评价方法需要同时利用参考网格和失真网格进行比较,根据网格独有的特征计算出它们之间的差异,从而衡量出失真网格的失真程度。然而,在现实应用中,失真三维网格相应的原始三维网格难以获得,这使得全参考的三维网格客观质量评价方法存在着一定的局限性。而无参考的三维网格客观质量评价算法可以在不需要参考原始网格的情况下评价出失真网格的质量,因此,无参考的三维网格客观质量评价算法的应用更加广泛,但是也正由于其未能参考原始网格的特点,无参考的评价方法面临着较大的挑战。

通过比较和分析现有的三维网格客观质量评价方法可以发现,现有的大多数三维网格客观质量评价方法所考虑的特征(如几何距离、粗糙程度、光滑度、二面角和网格结构等)均基于空间域的特征进行计算,目前的三维网格客观质量评价结果与人类主观视觉感知的一致性还有待提高。这是因为网格顶点之间的相似性和相关度不能很好地反映在空间域的特征上。因此,除了需考虑能反映人类视觉感知特性的空间域信息之外,还需要考虑其他变换域上能反映三维网格潜在特征的信息,以提高客观质量评价算法的性能。此外,人类视觉感知特性也是目前需要考虑的重要问题。研究发现,基于感知特性的评价算法性能比仅考虑几何距离的评价方法性能更好,这是由于人类对不同类型的失真情况的感知是不一样的,人类对于同一种类型的不同等级的失真情况的感知与失真等级也并非呈线性关系。因此,在进行三维网格客观质量评价时,要充分合理地分析人类的视觉感知特性,如人类视觉系统的视觉掩蔽效应、视觉饱和效应等特性,以提高客观质量评价结果与人类主观感知的一致性。

三维网格不同于普通的平面图像和视频,它可以表现出复杂不规则的拓扑结构,其表面的特征信号也可看作是不规则的图形信号。近年来,研究人员在传感器网络、交通运输网络、社交网络和生物脑网络等方面的研究取得了很大的进步,这引起了学术界对处理不规则图形信号和数据研究的极大关注[36-39]。为了处理不规则图形信号,研究者们提出了图形信号处理理论和图卷积神经网络[36,40]。在图形信号处理这个研究领域中,传统的时域或空域算法、定理和工具可以扩展到顶点域上,包括傅里叶变换、频率选择滤波器和顶点频率分析等[40]。而图卷积神经网络则可以通过学习的方式自动化地学习到三维网格表面图形信号的特征信息和结构信息,以解决相应的问题。因此,在未来的工作中,图形信号处理理论或图卷积神经网络模型的应用为三维网格客观质量评价方法的进一步研究开拓了一种新的思路。

此外,三维网格和点云模型作为三维几何模型的两种表现形式,在结构上有着很多相似之处,同时在实际中也都得到了极其广泛的应用。目前研究人员在三维网格的客观质量评价方法方面的研究已经比较深入,相关的研究成果也陆续出现,而对于点云模型的主、客观质量评价研究却还在起步阶段。因此,点云模型的质量评价也是未来值得深入研究的一个重要方向,可驱动点云压缩、传输等技术的优化,从而达到最大限度地减少点云模型失真的目的。

参考文献

[1] Li H A, Zhang M, Yu K P, et al. R3MR: region growing based 3D mesh reconstruction for big data platform[J]. IEEE Access, 2020, 8: 91740-91750.

[2] Yavuz E, Yazici R. A dynamic neural network model for accelerating preliminary parameterization of 3D triangular mesh surfaces[J]. Neural Computing and Applications, 2019, 31(8): 3691-3701.

[3] ArvanitisG, Lalos AS, MoustakasK. Saliency mapping for processing 3D meshes in industrial modeling applications[C]//2019 IEEE 17th International Conference on Industrial Informatics (INDIN), July 22-25, 2019, Helsinki, Finland.New York: IEEE Press, 2019: 683- 686.

[4] NasiriF, Bidgoli NM, PayanF, et al.A geometry-aware framework for compressing 3D mesh textures[C]//ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), May 12-17, 2019, Brighton, United Kingdom.New York: IEEE Press, 2019: 4015- 4019.

[5] 李金涛, 程效军, 杨泽鑫, 等. 基于曲率分级的点云数据压缩方法[J]. 激光与光电子学进展, 2019, 56(14): 142801.

    Li J T, Cheng X J, Yang Z X, et al. Curvature-grading-based compression for point cloud data[J]. Laser & Optoelectronics Progress, 2019, 56(14): 142801.

[6] Xian Y Z, Fan Y X, Huang Y, et al. Mesh simplification with appearance-driven optimizations[J]. IEEE Access, 2020, 8: 165769-165778.

[7] Mouhamed MR, Soliman MM, Darwish AA, et al.A robust 3D mesh watermarking approach based on genetic algorithm[C]//2019 Ninth International Conference on Intelligent Computing and Information Systems (ICICIS), December 8-10, 2019, Cairo, Egypt.New York: IEEE Press, 2019: 408- 413.

[8] 屠大维, 兰浩, 张曦. 文物数字化三维重建技术研究[J]. 激光与光电子学进展, 2019, 56(19): 191504.

    Tu D W, Lan H, Zhang X. Digital three-dimensional reconstruction technology of cultural relics[J]. Laser & Optoelectronics Progress, 2019, 56(19): 191504.

[9] 胡燕威, 王建军, 范媛媛, 等. 基于激光雷达的空间物体三维建模与体积计算[J]. 中国激光, 2020, 47(5): 0510001.

    Hu Y W, Wang J J, Fan Y Y, et al. LiDAR-based three-dimensional modeling and volume calculation for space objects[J]. Chinese Journal of Lasers, 2020, 47(5): 0510001.

[10] Guo J J, Vidal V, Cheng I, et al. Subjective and objective visual quality assessment of textured 3D meshes[J]. ACM Transactions on Applied Perception, 2017, 14(2): 1-20.

[11] Abouelaziz I, El Hassouni M, Cherifi H. Blind 3D mesh visual quality assessment using support vector regression[J]. Multimedia Tools and Applications, 2018, 77(18): 24365-24386.

[12] Narwaria M, Lin W S. McLoughlin I V, et al. Nonintrusive quality assessment of noise suppressed speech with mel-filtered energies and support vector regression[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2012, 20(4): 1217-1232.

[13] Falk T H, Chan W Y. Single-ended speech quality measurement using machine learning methods[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2006, 14(6): 1935-1947.

[14] Lavoué G, Gelasca E D, Dupont F, et al. Perceptually driven 3D distance metrics with application to watermarking[J]. Proceedings of SPIE, 2006, 6312: 63120L.

[15] Lavoué G. A local roughness measure for 3D meshes and its application to visual masking[J]. ACM Transactions on Applied Perception, 2009, 5(4): 21.

[16] Lavoué G, Larabi M C, Váša L. On the efficiency of image metrics for evaluating the visual quality of 3D models[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(8): 1987-1999.

[17] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[18] Sheikh H R, Bovik A C. Image information and visual quality[J]. IEEE Transactions on Image Processing, 2006, 15(2): 430-444.

[19] Daly S J. Visible differences predictor: An algorithm for the assessment of image fidelity[J]. Proceedings of SPIE, 1992, 1666: 2-15.

[20] AspertN, Santa-CruzD, EbrahimiT. MESH: Measuring errors between surfaces using the Hausdorff distance[C]//Proceedings of IEEE International Conference on Multimedia and Expo, August 26-29, 2002, Lausanne, Switzerland. New York: IEEE Press, 2002: 705- 708.

[21] Cignoni P, Rocchini C, Scopigno R. Metro: Measuring error on simplified surfaces[J]. Computer Graphics Forum, 1998, 17(2): 167-174.

[22] KarniZ, GotsmanC. Spectral compression of mesh geometry[C]//Proceedings of the 27th annual conference on Computer graphics and interactive techniques, ACM: New York, 2000: 279- 286.

[23] Sorkine O, Cohen-Or D, Toldeo S. High-pass quantization for mesh encoding[J]. Eurographics Symposium on Geometry Processing, 2003: 42-51.

[24] Lavoué G, Corsini M. A comparison of perceptually-based metrics for objective evaluation of geometry processing[J]. IEEE Transactions on Multimedia, 2010, 12(7): 636-649.

[25] Váša L, Rus J. Dihedral angle mesh error: A fast perception correlated distortion measure for fixed connectivity triangle meshes[J]. Computer Graphics Forum, 2012, 31(5): 1715-1724.

[26] Torkhani F, Wang K, Chassery J M. A curvature-tensor-based perceptual quality metric for 3D triangular meshes[J]. Machine Graphics and Vision, 2014, 23(1): 1-25.

[27] Dong L, Fang Y M, Lin W S, et al. Perceptual quality assessment for 3D triangle mesh based on curvature[J]. IEEE Transactions on Multimedia, 2015, 17(12): 2174-2184.

[28] Corsini M, Gelasca E D, Ebrahimi T, et al. Watermarked 3-D mesh quality assessment[J]. IEEE Transactions on Multimedia, 2007, 9(2): 247-256.

[29] Gelasca ED, EbrahimiT, CorsiniM, et al.Objective evaluation of the perceptual quality of 3D watermarking[C]//IEEE International Conference on Image Processing 2005, September 14, 2005, Genova, Italy.New York: IEEE Press, 2005.

[30] Wang K, Torkhani F, Montanvert A. A fast roughness-based approach to the assessment of 3D mesh visual quality[J]. Computers & Graphics, 2012, 36(7): 808-818.

[31] AbouelazizI, OmariM, Hassouni ME, et al.Reduced reference 3D mesh quality assessment based on statistical models[C]//2015 11th International Conference on Signal-Image Technology & Internet-Based Systems (SITIS), November 23-27, 2015, Bangkok, Thailand.New York: IEEE Press, 2015: 170- 177.

[32] AbouelazizI, El HassouniM, CherifiH. No-reference 3D mesh quality assessment based on dihedral angles model and support vector regression[C]//Image and Signal Processing, Berlin: Springer, 2016, 9680: 369- 377.

[33] AbouelazizI, Hassouni ME, CherifiH. A convolutional neural network framework for blind mesh visual quality assessment[C]//2017 IEEE International Conference on Image Processing (ICIP), September 17-20, 2017, Beijing, China.New York: IEEE Press, 2017: 755- 759.

[34] Lin YY, YuM, ChenK, et al.Blind mesh quality assessment method based on concave, convex and structural features analyses[C]//2019 IEEE International Conference on Multimedia & Expo Workshops (ICMEW), July 8-12, 2019, Shanghai, China.New York: IEEE Press, 2019: 282- 287.

[35] Lin Y Y, Yu M, Chen K, et al. Blind mesh assessment based on graph spectral entropy and spatial features[J]. Entropy, 2020, 22(2): 190.

[36] Teke O, Vaidyanathan P P. Uncertainty principles and sparse eigenvectors of graphs[J]. IEEE Transactions on Signal Processing, 2017, 65(20): 5406-5420.

[37] Dong X W, Thanou D, Frossard P, et al. Learning Laplacian matrix in smooth graph signal representations[J]. IEEE Transactions on Signal Processing, 2016, 64(23): 6160-6173.

[38] Shuman D I, Narang S K, Frossard P, et al. The emerging field of signal processing on graphs: Extending high-dimensional data analysis to networks and other irregular domains[J]. IEEE Signal Processing Magazine, 2013, 30(3): 83-98.

[39] Chindanur N B, Sure P. Low-dimensional models for traffic data processing using graph Fourier transform[J]. Computing in Science & Engineering, 2018, 20(2): 24-37.

[40] Wu Z H, Pan S R, Chen F W, et al. A comprehensive survey on graph neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 8386: 1-21.

林瑶瑶, 郁梅, 何周燕, 蒋刚毅. 三维网格客观质量评价[J]. 激光与光电子学进展, 2021, 58(2): 0200003. Yaoyao Lin, Mei Yu, Zhouyan He, Gangyi Jiang. Objective Quality Assessment for Three-Dimensional Meshes[J]. Laser & Optoelectronics Progress, 2021, 58(2): 0200003.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!