多媒体信息检索.ppt

多媒体信息检索102131387庄子匀

概念多媒体检索是一种基于内容特征的检索〔CBR：content-basedretrieval〕。基于内容的检索是对媒体对象的内容及上下文语义环境进行检索，如图像中的颜色、纹理、形状，视频中的镜头、场景、镜头的运动，声音中的音调、响度、音色等。基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特征建立索引并进行检索。在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为局部根底技术，是多种技术的合成。

体系结构媒体数据特征提取目标标识媒体库特征库知识库知识辅助用户查询接口检索引擎索引/过滤数据库特征提取子系统数据库查询子系统

检索过程用户需求媒体资源内容查询内容索引匹配

分类文本检索多媒体检索图像检索视频检索音频检索

基于文本的检索人工建立元数据标引，本质类似于纯文本信息检索普及程度：是现行网络检索系统中的主流方式。检索方式：信息分类、扩展名、关键词优势：实现原理相对简单，技术成熟劣势：具有主观性，仁者见仁、智者见智；多媒体信息的多维性，人工描述难以穷尽Google图片搜索、音乐搜索与视频搜索，Yahoo音乐搜索与图片搜索，YahooVideoSearch，百度mp3、图片与视频搜索

普通搜索引擎搜索图片、图像格式：image:文件名功能：检索含有指定文件名图像的所有网页。搜索多媒体信息格式：media:text功能：检索文件的名字中含有指定文字的多媒体信息

基于内容的信息检索Content-BasedRetrieval一种新的检索技术，是对多媒体对象的内容及上下文语义环境进行检索原理：提取特征并进行量化，表示成向量空间，建立索引库，将用户提问转化成向量，并与已有信息的向量空间进行相似度匹配计算。常用多媒体文件特征：①图像：颜色、纹理及时空关系等②视频：对象运动特征、颜色和光线变化等③音频：时域、频域、时频、短时帧和音频特征等普及程度：局限在较小的数据集合上，大多只是实验室研究成果

基于内容的图像检索分析图像的内容提取其颜色、形状、纹理，以及对象空间关系等信息建立图像的特征索引

QBICQueryByImageContent:///IBMAlmaden研究中心开发的第一个商用基于内容的图像及视频检索系统提供对静止图像及视频信息基于内容的检索手段系统结构及所用技术对后来的视频检索有深远的影响

Photobook:///由MIT的媒体实验室开发研制图像在存储时按人脸、形状或纹理特性自动分类图像根据类别通过显著语义特征压缩编码

VisualSeek://美国哥伦比亚大学开发的图像查询系统主要特点是用到了图像区域的空间关系查询和直接从压缩数据中提取视觉特征

EXCALIBUR技术公司开发的retrievalware系统

Virage公司开发的virage检索系统

香港公共图书馆的多媒体信息系统〔MMIS〕MultimediaInformationSystem?IBM和分包商ICO于1999年底开始承建190万美元的数字图书馆工程被认为是世界上最大且最复杂的“中文/英文”双语图书馆效劳之一采用的DB2Text和ImageExtenders既支持文本查找，也支持图片查找

相似颜色

相似形状

相似内容

IMEDIAIMEDIA按照数据库的内容划分为五个功能系统。VisualRetrieval(generalistdatabases)、VisualRetrieval(biodiversitycollections)、VisualRetrievalwithrelevancefeedback〔satelliteimages〕、partialvisualqueries(localdescriptors)和3Dretrieval

基于内容的视频检索通过对非结构化的视频数据进行结构化分析和处理，采用视频分割技术，将连续的视频流划分为具有特定语义的视频片段——镜头，作为检索的根本单元，在此根底上进行代表帧(representativeframe)的提取和动态特征的提取，形成描述镜头的特征索引镜头组织和特征索引，采用视频聚类等方法研究镜头之间的关系，把内容相近的镜头组合起来，逐步缩小检索范围，直至查询到所需的视频数据视频分割、代表帧和动态特征提取是基于内容的视频检索的关键技术。

卡内基·梅隆大学的informedia数字视频图书馆系统CMUInformediaVideoResearch://结合语音识别、视频分析和文本检索技术，支持2000小时的视频播送的检索实现全内容的、基于知识的查询和检索同步元