[基于深度评估中恰可察觉失真的3D视频评价.doc

基于深度评估中恰可察觉失真的3D视频评价 D.V.S.X. De Silva, W.A.C. Fernando, G. Nur, E.Ekmekcioglu and S.T. Worrall I-Lab, Multimedia Communications Research Group, Faculty of Engineering and Physical Sciences, University of Surrey, Guildford, GU2 7XH, UK. {D.Desilva, W.Fernando, G.Nur, E.Ekmekcioglu, and S.Worrall}@ surrey.ac.uk 摘要 提供一个真实深度感的能力是现代3D视频显示系统新增功能的核心。目前，还没有标准的方法来评价3D视频中的深度感。类似方法的出现必将极大地促进3D视频研究的进步。这篇文章的重点在于3D视频中深度感知的评定。本文中，我们主观的评价使用者在自动立体显示器上获得的深度感。当深度图压缩的过程中产生损害的时候，我们分析深度感知的变化。我们用另外一个评价来解释主观深度感的变化，这个评价是用来识别观察者深度感知的恰可察觉到的失真（JNDD）。JNDD符合观察者对于3D视频场景中深度的改变的敏感性，尽管这篇文章中仅仅考虑压缩失真的影响，提出的基于JNDD值的评价技术可以用在将来深度感知评价工作中。 关键字：深度图，3D视频，深度感知 引言 3DTV通过提供深度感来给用户提供更好的视觉感受。因此，提供高质量的深度感是非常重要的。 任何一个与视频相关的服务系统中，质量评价是一个重要的组成部分。当主观测试结果仍然停留在质量测量的“黄金标准”。客观的度量对于3D视频相关技术的及时发展是最重要的。3D视频的质量评价面临新的挑战。深度感知的评价仍然有无法解答的问题。本文在一定程度上解决了这个问题。由没有立体效果的彩色图片和深度图来表现3D视频。使用这两个组成部分，同一场景的两个不同的角度，称作立体视图，经过绘制展现给观看者。 虽然人们使用不同的生理和心理因素来感知深度，双目视差是现代立体3D显示能够提供深度感的最重要的原因，相比较传统的2D显示。双目视差是一种感觉，大脑利用视差来说明深度信息，双眼视差是由双眼看到的图像有点轻微不同产生的。因此，人的大脑可以通过立体视图中不同对象的视差来感知深度信息。 文献[4]是最早的研究之一，探索人们对3D视频中三个具体的感知属性的不同。这些属性是深度的感知，深度的存在和深度的自然性。结果表明，深度的增加将导致存在感的增强，假如深度被视为自然的（即depth cues introduced are consistent and within natural bounds）。文献[5]介绍了深度图像的质量对于3D感的影响。这里，深度图用不同的码率进行量化并且主观的评价整体的3D感。文献[5]推出的结论：深度图可以大量的量化并且不影响3D感的质量。文献[6]中，分析了2D视频质量度量和立体视频中感知的属性的主观分数之间的联系，文献[6]中的结论：出于许多2D度量指标的考虑，彩色成分的视频质量度量（VQM）和深度感的整体感知有很大的关联。另外，没有单独应用于深度图质量度量标准，主要依赖于观众对于3D视频中深度感的评级。相似的，在文献[8]主要介绍了深度失真没有彩色失真重要。 尽管在文献[5][6]和[8]中介绍了深度感知不随着深度图量化级数的改变而改变，但都没有解释原因。本文详细研究了观察者对于深度压缩失真所带来的深度图改变的反应。为了解释感知到的深度的变化，我们主观的研究了人们感觉到的深度的恰可察觉失真(JNDD)的作用,在一个3D视频场景中。由于深度图的损失，观察者无法感觉到深度任何重大的改变的原因，JNDD的研究结果会解释这个原因。 论文的剩余部分是这么安排的。第二部分介绍主观实验用来研究不同量化级别的情况下深度感知的变化情况。第三部分介绍了用实验评价JNDD值。第四部分解释了根据JNDD的结果，研究深度感知的变化。第五部分总结了未来工作的研究方向。 深度感知的评估 这一部分提供了详细的主观实验用来评估用户的深度感知。尤其是，我们研究用户对于压缩过程中引起的深度图失真的反应。 chess 序列 (b) world cup 序列 图1 实验中用到的彩色和深度图像 建立实验 主观实验是根据ITU-TBT.500-11 [9]来进行的，16位观察者(6个专家和10个非专家)参加了所有的测试。与标准相对应，一些专家是考虑到3D视频的特别的性质才选择的。观察者都有很好的视力(0.7,经过斯内伦眼图测试)，好的立体视觉，好的彩色视觉。实验在42寸的飞利浦