基于内容的视频检索new.docVIP

基于内容的视频检索 曹亚光 (北京理工大学现代远程教育学院，北船院，计算机专升本2001级，) 摘　要：， 关键词： 1 前言 随着多媒体技术和网络技术的飞速发展，(Content-Based Video Retrieval，CBVR)成为近年来研究的热点。 基于内容的视频检索系统如图1所示。 图1 　基于内容的视频检索系统框图 首先要进行视频结构分析，，，CBVR系统的基础和关键。然后提取镜头的运动特征和关键帧中的视觉特征，，2 视频结构的构造及有关的算法 为了对视频数据库进行基于内容的查询，首要要构造便于检索的视频结构。视频数据可以按照由粗到细的顺序划分为四个层次结构：视频(Video)、场景( Scene)、镜头(Shot)和图像帧(Frame)。 镜头是视频数据的基本单元，，，：(Fade，又细分为Fade in和Fade out)、融化(Dissolve)和滑变(Wipe)。渐变是切变检测中的难点。 整个视频结构构造过程分以下三个步骤：从视频流中提取镜头、从镜头中选择关键帧和从视频流中构造场景或组。 2.1 从视频流中提取镜头（即对视频流的切变检测） 镜头是视频数据的基本单元，视频处理首先就需要把视频自动地分割为镜头，以作为基本的索引单元，这一过程就称为镜头边界的检测。它是实现基于内容的视频检索的第一步，其核心处理是镜头切变检测。 视频结构的构造中，镜头切变检测是重点，而且其算法和思想可用于其它步骤，故应重点研究。 2.1.1 基于颜色特征的方法 (1) 模板匹配法(对应像素法) 模板匹配法是将两帧对应像素差的绝对值之和作为帧间差，t时，， 关，，张宏江[3]提出将各帧划分为8×8像素的子块，，， (2) 直方图法 直方图法是使用得最多的计算帧间差的方法，，，，A. Nagasaka和Y. Tanaka[4]提出了一种将视频帧划分为4×4相同大小的子块并比较相应子块的方法。其它改进方法还有X2直方图匹配法[5]和Swanberg等人[6]采用的模板匹配法和直方图匹配法相结合的方法。 2.1.2 基于边缘的方法 由于在镜头切变时新旧边缘应在不同的位置，所以可先提取两幅图像的边缘，计算新边缘在旧边缘的基础上增加和减少像素比例，当大于某一个阈值时便认为发生镜头切换。缺点是计算量大，当边缘不明显时效果差。 2.1.3 光流检测法 张宏江[3]还提出了光流检测法，，， Hampapur等人[7，]通过对视频制作过程的研究，，， 由于越来越多的视频数据是以压缩的形式保存，， (1) DC系数法 DC 图像是原图像8×8的平均，，DC图像， (2) 运动矢量法 张宏江[3]根据统计发现镜头转换处的BP帧中有效运动向量个数较少，， 这类方法的缺点是，MPEG算法是面向数据压缩的，MPEG-4和多媒体数据内容表示MPEG-7成为国际标准后， (3) 模糊查找法 一种方法是只用视频流中的I帧进行检测，它适用于检测精度不是很高的需求；另一种方法是先找出差异大的相邻两个I帧作为可能存在镜头切换处，再用两帧间的B和P帧确定准确位置，这种方法精度较高。两种方法均受编码算法优劣的影响。 2.1.6 几种改进的算法 张宏江[3]提出了双阈值比较法。当两帧间差在阈值d1和d2之间时，，，d2时认为有渐变，d1时认为渐变结束。这种方法对渐变检测有较好的效果， 由于在很多情况下，人们仅对图像中的某一区域感兴趣。因此，先进行图像分割，仅利用某一区域的信息进行检索。近几年来这一领域的研究逐渐引起了人们的兴趣。 2.2 从镜头中选择关键帧 关键帧(也称代表帧)是用于描述一个镜头的关键图像帧，， 2.2.1 基于镜头的方法 一段视频分割成镜头后，(或首帧与末帧)作为镜头的关键帧。该方法实现起来比较简单，，(1帧或2帧)，， 这种方法基于每一帧的颜色、纹理等视觉信息的改变来提取关键帧，，张宏江[3]依据帧间的显著变化来选择多个关键帧，，，，，，， 2.2.3 基于运动分析的方法 Wolf[14]通过光流分析来计算镜头中的运动量，，，Wolf的这种基于运动分析的方法可以根据镜头的结构选择相应数目的关键帧。如果先把图像中的运动对象从背景中取出，， 2.2.4 基于聚类的方法 聚类提取[15]的方法首先要确定一个初始类心，，，Zhao[]提出了一种基于最近特征线(Nearest Feature Line，NFL) 的端点检测算法用于选取关键帧。该方法的主要原理是用某些特征点的连线(特征线)近似并代表某个类的所有特征样本轨迹， 3 特征提取 视频分割成镜头后就要对各个镜头进行特征提取，， 3.1 颜色特征 颜色是图像最显著的特征，，，，，，，SmithChange[18]等人提出了颜色集的概念：RBG颜色空间转换为视觉上一致空间HSV，m个颜色条，， 3.2 纹理特征