多摄像机全景监控下视频运动目标结构化提取与管理.pdf

多摄像机全景监控下视频运动目标结构化提取与管理 摘 要 随着全国各地智慧城市建设的快速发展，监控设备遍布城市的各个角落，随之而来 的是海量的监控视频数据，因此迫切需要一个智能化的监控系统对海量的视频数据进行 处理和分析。视频数据结构化是实现智能监控的关键技术之一，它包括了目标检测、多 目标关联、目标结构化描述和结构化数据的存储与管理等技术。本文针对全景视频监控 系统中一些关键技术开展了相关的研究与开发工作，主要包括多摄像机全景底图的更新、 视频目标结构化以及结构化数据的管理。 设计了一种全景视频监控中的底图更新方法，该方法分为图像配准和颜色校正两个 步骤。其中图像配准由基于交互式的初略配准和基于互信息的精细化配准两个步骤组成。 然后在课题组已有的颜色校正算法的基础上，设计了一种基于局部不变区域的颜色校正 方法。最后设计并实现了全景视频监控底图更新软件。 为了提取出视频中的有用信息，设计了一种基于深度学习目标检测的视频目标结构 化数据提取方法。采用Yolo 目标检测算法对视频中的目标进行检测。在此基础之上，设 计了一种基于检测目标的多特征融合卡尔曼滤波关联方法，通过融合目标的分块颜色直 方图、边界框尺寸和空间位置特征来计算目标之间的相似度，利用卡尔曼滤波算法预测 目标的运动状态，最终构造出一个关联矩阵实现多目标的关联。在得到目标序列后，设 计了一种结构化描述方案和一个用于存储这些结构化数据的数据库。 基于上述目标结构化数据提取方法，设计并实现了全景视频监控中视频结构化计算 模块。首先利用FFmpeg 开源框架实现了H.264 格式的视频流的解码和格式转换；其次 采用生产者和消费者模式实现了目标结构化数据的提取；基于HTTP 协议实现了目标结 构化数据的入库。 为了统一管理目标的结构化数据，采用Django 开源框架并配合Nginx 和uWSGI 实 现了符合 RESTful 设计风格的后端服务器，各个计算节点可以通过URI 的方式向服务 器请求资源。为了方便用户对数据进行管理，设计并实现了一个Web 客户端。 关键词：图像配准；目标关联；视频结构化；视频编解码；RESTful Web 服务器 I Structured Extraction and Management of Video Targets under Multi-Camera Panoramic Surveillance Abstract With the rapid development of smart city construction across the country, monitoring equipment is spread all over the city, and there is a huge amount of surveillance video data. Therefore, an intelligent monitoring system is urgently needed to process and analyze massive video data. Video structuring is one of the key technologies for intelligent monitoring. It includes technologies such as target detection, multi-objective association, target structured description, and structured data storage and management. This paper has carried out related research and development work on some key technologies in the panoramic video surveillance system, mainly including the updating of multi-camera panoramic background map, video