多媒体缩略.docVIP

第一章：绪论 一：多媒体数据分类？文本、图形、图像、声音、视频、动画 二：3种检索技术（元数据、文本、内容、语义）及其优缺点？ 文本检索 技术比较成熟；不用提取特征，检索速度快，效率相对高；有很强的数学理论基础，比如布尔模型、概率模型等。 文本标注比较浪费人力成本；标注带有主观性和片面性，对音视频不太适用；浪费时间，实时性较差。 内容检索 能让计算机自动提取特征，避免了文本检索的主观性和片面性；实时性较强；采用相似性匹配，可提供较全面的相关项。 目前此技术只停留在底层特征的提取和相似性匹配，不能满足人的用户需求；有些无关项进入检索结果；此技术的检索结果与人的感知存在鸿沟。 元数据检索？？？ 三： 为什么传统的DBMS不能存储和管理多媒体？ 1.信息时代的到来。信息量和信息类型剧增。 2多媒体数据是不规范的 规范的数据比如字符型，数值型，逻辑型等都可定义特定的长度有取值范围。但多媒体数据，如图象、音频、视频等则不然。多媒体多媒体数据的检索往往需要用到基于内容的检索。而传统规范数据的检索只需要根据值就可以了。(量化----(熵编码 三：压缩标准？ 图像标准：传统的JPEG标准、JPEG-LS、JPEG2000、BMP / GIF / PNG / TIFF 视频标准：MPEG-1,2,4,7,21; MHEG 第三章 一：为什么IR在多媒体数据库中很重要？ 信息检索通常指文本信息检索，包括信息的存储、组织、表现、查询、存取等各个方面。其核心为文本信息的索引和检索（例如提取关键字、对文档进行分类和提取文档摘要）。 信息检索技术多多媒体内容管理和信息检索的重要性表现在两个方面：首先，在当前信息爆炸的时代，半结构文本和自由文本是其中的一类重要资源。其次，文本可以多其他媒体（如图像、音频、视频等）进行标注，然后利用成熟的IR技术进行多媒体信息检索。 二：文本检索的4个模型？ 概率：基于概率论 向量：基于代数 布尔：基于集合论 集群：基于以上3种IR基础上 三：查全率和查准率？画关系图。 第五章 一：音频检索的大致框架、步骤？ 第一步：“分段分类”。即把一大段音频进行分段，再对各段进行分类，归结到一些常见的类型（比如语音、音乐和一般的波形音频）。 第二步：“处理索引”。即根据第一步得到的不同音频分类结果，分别用不同的方法进行处理和索引（比如如果音频类型是语音，使用语音识别方法），查询输入的音频示例也进行类似处理。 第三步：“相似性比较”。比较查询索引和数据库中的音频索引，返回最相似的音频片段。 二：音频的3种特征？-------119页 时域特征（幅值-时间表示）—以时间维为标准来研究信号的特征变化：短时平均能量，过零率，静音比，线性预测系数 频域特征（幅值-频率表示）---：频谱中心FC，带宽BW，谐音，音调，频率特征系数， 声谱图：能同时说明时间、频率和幅值的关系 主观特征：音色，节奏，响度，亮度，音调 第六章 一：图像检索（CBIR）框图？ 步骤：首先，对收集到的大量图像进行特征提取建立图像特征数据库（类似IR中的索引），这些特征分为4大类：颜色、纹理、形状和空间关系。 其次，计算机对用户查询的示例图片进行相似的特征提取，构造出相应的特征向量。 第三，把示例图片的特征向量和特征库中的索引进行相似相匹配，计算向量间的距离。 第四，检索系统把检索到得图片显示给用户。 第五，用户进行反馈，检索系统进行查询向量优化，直至得到用户满意的图片。 框图： 二：图像特征（颜色、纹理、形状、空间）及各特征检索的优缺点？ 优点 缺点 颜色 稳定性好，“保3不变”即平移、旋转和尺度不变性；区域内所有像素点对颜色特征都有贡献； 只反映整体特征，丢失了图像内对象的局部特征；忽略了像素间的空间关系；易受到背景色的干扰；对亮度和噪声比较敏感； 纹理 物体表面的内在特征，包含了结构安排和周围环境的关系；具有旋转不变性；计算较容易；对噪声有较强的抵抗力； 只描述表面特征， 不反映本质属性；纹理特征的描述具有一定的主观性；图像分辨率变化时，计算出的纹理可能存在较大偏差； 形状 优：与变换、旋转和缩放无关；可有效利用图像内的目标进行检索； 劣：缺乏完善的数学模型；若目标有变形，检索结果往往不大可靠；只描述了对象的局部特征，若想全面描述目标，代价较大；反映的目标形状信息与人的直观感觉不完全一致（即特征空间的相似性与人所感知的相似性有差别）； 空间 体现了图像内对象之间的相对关系； 对图像的旋转、反转、尺度变化等较敏感；不能准确有效的表达场景信息； 三：WHY要使用综合特征进行检索？ 综合利用颜色、纹理、形状和空间关系等特征，