《数据标注工程——概念、方法、工具与案例》教学课件—04视频数据标注.pptxVIP

人工智能技术应用核心课程系列教材;;视频数据标注是用机器自动生成自然语言文字来描述视频内容的过程。它在视觉和文字之间起到非常重要的桥接作用。视频数据标注目的是对场景中活动目标进行位置、形状、动作、色彩等有关特征进行标注；提供大量数据供跟踪算法使用，从而实现对场景中活动目标进行检测、跟踪、识别，以及进一步的行为分析及事件检测。;（1）视频数据标注是实现视频搜索功能的必然要求。互联网中的视频数据正以惊人的速度在增长，必须有新的检索方式来满足用户对视频??检索需求。而视频数据标注通过语义、内容等方式标注，则有利于视频数据搜索、管理和收藏。 （2）视频数据标注要求是视频数据自身特征决定的。丰富的视频数据包含的海量信息，其内容更加丰富、直观和生动。这是其他媒体类型所无法比拟的。因此，视频数据的自身优势，决定了视频数据标注的发展前景更广阔。 （3）视频数据标注是视频数据应用场景日益增加的需求。与图像技术一样，视频数据也可以应用于互联网娱乐、智能家居、智能医疗、新零售、安防、自动驾驶等领域。而且，相较于图像数据而言，图像数据是在一个时间点上的数据，而视频数据是在一段时间上连续的一系列图像数据的集合，表达的信息更加丰富，因此具有更广的应用场景。;视频数据标注任务包含视频标签的时间位置、空间位置和标签信息标注等内容。 标注文件的输出格式推荐使用易解析、易存储的数据格式，包括JSON、XML等。标注文件应该包含详细的标签信息。每个独立的标签应包含以下的信息： （1）标签编码：每个标签的独立编号； （2）文件路标：待标注视频文件名称或路径； （3）置信度：为标签的置信度； （4）每个标签中可能包含多个对象，对于每个对象需包含： ①对象类型：例如 scene_classification； ②对象详情：具体描述对象的时间、空间信息和内容信息，或与其他 object的关系信息。对于视频中起始和结束帧的位置描述也应该放到对象详情中，比如：Object frame_index start 以及Object_frame_index_end。;视频源数据管理包含视频信息管理和视频目录管理两大块。 （1）视频信息管理：包含视频上传、视频修改、视频查询、视频删除、下载视频等功能。 （2）视频目录管理：包含添加目录、删除目录和目录排序功能。 视频管理的用例图如图所示。 ;;视频数据标注工具主要用于标注框标注、视频???标注（俗称视频打点）、属性标注、视频跨帧追踪等。本标注工具涉及的术语如表所示。 ;（1）视频数据标注工具界面：视频数据标注工具界面包括工具栏、视野区、状态栏、属性区、对象列表区五个部分，如图所示。 ;（1）视频数据标注工具界面：工具栏、视野区、状态栏、属性区、对象列表区五个部分功能介绍如下： ①工具栏：用于整体任务或者显示的控制，可以进行任务获取、保存、撤销、恢复、提交等功能； ②属性区：用于修改选中对象的属性。属性可以有单选、多选和输入3种类型，属性有可选和必选两类。 ③对象列表区：对象列表用来显示本条数据中已经标注的对象，前面是对象编码，后面是对象类别。可以在对象列表中选择某个对象。 ④帧控制区域：针对视频帧的操作，可对整条数据或单帧数据进行无效操作。 ;（2）视频追踪的逻辑：在视频跨帧追踪中，为了加快标注速度进行了自动化追踪的设计。 ①针对每个对象进行跨帧追踪，如果该对象在某帧进行了手动操作（包括调整位置和调整属性），该帧中该对象的属性变为“手动”，该帧被称为该对象的“关键帧”。 ②两个关键帧中间的帧（中间这些帧被称为非关键帧）中的对象会根据前后两个关键帧中同一编码对象的位置进行插值运算（对于x、y、z坐标线性插值）。关键帧中对象的位置进行变动后会重新计算。 ③关键帧到本条数据的头或者尾部会一直复制关键帧的位置。 ④非关键帧对象的属性，会复制往上最近一个关键帧的。 ⑤如果非关键帧变成了关键帧，会重新针对相邻的关键帧计算非关键帧的位置，调整其后的非关键帧的属性。 ;视频数据标注流程：主要包括标注、质检、初验、终验、返修和查看界面，确认无误后，保存、提交。 （1）标注：针对未标注的数据或者预识别处理后的数据进行标注，如图所示。 标注内容包括：新建对象、选中对象、移动对象、删除对象、修改对象、整条无效、当前帧无效、是否离开、属性选择、提交。 ;（2）质检：质检人员对数据标注人员标注结果的核验。视频数据标注质检界面如图所示。 ;（3）返修：返修指标注人员对不合格标注数据进行修改、提交的过程，视频数据标注返修界面如图所示。 ;视频数据标注工具可以用于视频追踪标注、属性标注、准确率统计等。 （1）视频追踪标注。具体内容如下： ①标注内容