图像漫游技术及其应用.ppt

基于相对深度计算的 图像漫游技术及其应用 石教英 浙江大学CADCG国家重点实验室 jyshi@cad.zju.edu.cn 虚拟现实技术 虚拟现实技术是由计算机生成，通过视、听、触等方式作用于用户，使之产生身临其境感受的交互式仿真系统。 基本特征： Immersion(沉浸感) Interaction(交互式) Imagination(想象力) 基于图像绘制技术（Image-based Rendering, 简称IBR） 通过一组预先获得的图像（不是三维模型编码的场景），适当组合这些图像，产生场景的新视图，完成绘制工作。 IBR技术特点 充分利用了图像本身所具有的真实感，其绘制效果的真实感大大优于传统的绘制方式 绘制效率与场景复杂度无关 IBR的几种代表性技术 全光函数（Plenoptic Function） 立体视觉（Stereo Vision）、视图插值（View Interpolation） 3D变形 LOD(Layered Depth Image )技术 TIP(Tour Into the Picture)技术 TIP技术是一种以一幅二维图像形成漫游的技术 通过蜘蛛网格获得构建场景的二维信息 TIP所构建的模型是： 一些Billboard与三维BOX模型的组合 TIP技术流程图 TIP技术—背景（Background） 蜘蛛网格由：灭点（vanishing point）、内窗口（inner window）、外窗口（outer window） TIP技术—前景（Foreground） 前景物体通过前景模板（foreground mask）确定 垂直放置于right wall、left wall、rear wall、floor、ceiling某一平面上 相对深度计算 相对深度计算实现的是在同一视点参考图像和TIP技术生成的图像的一致性。 相对深度计算需要以下假设： Left wall、right wall、rear wall垂直于地面 图像平面垂直于地面 输入图像需水平拍摄 背景相对深度计算 前景相对深度计算1 获取前景图像的2维坐标 前景相对深度计算2 基于相对深度计算TIP技术生成效果 TIP技术的输入图像与输出图像的比较 视点变化生成的新视图 复杂前景的构造 TIP技术在斜坡场景中的应用 TIP技术默认二维图像的floor与地平面平行 当输入图像具有一定的坡度值时，原有的TIP相对深度计算不再适用，需要对原有蜘蛛网格以及相对深度计算做一些修改，以生成斜坡效果。 斜坡几何投影图分析 A、B分别表示水平面和斜坡面的无穷远处，分别投影到图像平面的A’和B’，视点距离视平面的距离为焦距f。 OA的坡度角∠AOB约等于∠ACB 斜坡场景的焦距f 不同的焦距会有不同的坡度角，但依然可以在每一种焦距的情况下，获得各自视觉效果等同于原始图像的斜坡模型。 斜坡相对深度的计算 视点C的高度H/2，斜坡顶点的投影高度H’。利用三角形的相似，易得相对深度： 斜坡场景的生成效果 TIP技术在多场景的应用 TIP技术描绘的是独立的场景 TIP技术被限制于单幅图像，表现力度有限，不能够完成较大场景的表现 通过TIP技术与全景图技术的结合，可实现较大场景的描绘 TIP技术与全景图技术 全景图技术是就某个视点的周围场景的浏览。 模型较为简单（通常采用圆柱型模型），无法对于场景的细节进行进一步描绘。 TIP技术模型分为前景与背景，前景可进行较为复杂的构造，对于细节的处理更加到位。 设计构想1 同时绘制多个场景，按照某个深度关系排列多个场景。 将多个场景中的门内区域设置成为透明区域。 当观察者的视点位置处于门与场景的中心连线上，可以穿越门的透明纹理进入下一场景。 设计构想2 如何计算多个场景的深度信息使得场景的模型比例和原始图像保持一致？ 设计构想3 通过TIP模型来确定全景图技术相对于TIP模型的大小： 圆柱型相对于TIP模型的高度（height） 圆柱型相对于TIP模型的半径（radius） 视点的高度。 例子：轿厅与百狮楼场景 场景一与场景二为从全景图技术过渡到TIP技术；场景二与场景三为从TIP技术过渡到全景图技术 例子：轿厅与百狮楼场景 场景一门的区域（Ⅰ）与场景二门的区域（Ⅱ）设置成透明纹理；区域（Ⅲ）作为场景三的入口。 全景图技术到TIP技术的过渡 线b、c为一对特征线，为在不同视点下同一物体的不同投影 全景图技术到TIP技术的过渡 Height与radius可由以下两个公式推得： TIP技术到全景图技术的过渡 线d、e为一对特征线 TIP技术到全景图技术的过渡 场景三全景图模型相对于场景二（TIP模型）的大小为： 轿厅与百狮楼场景大小比例 经过三