基于跨模态行人重识别的村民检测追踪系统.pdf

摘要

摘要

近年来，农村社会治安问题引起人们的广泛关注。传统的监控方式是通过人力监

RGB

控检测追踪，然后出现摄像头监控检测追踪技术，它能捕获可见光（）图像和红

外（Infrared，IR）图像。但是，靠人力一帧帧翻阅图像，工作量大，十分不便。因

此，出现了行人重识别技术。行人重识别是判断不同监控摄像头下出现的行人图像是

否属于同一行人的技术。而跨模态行人重识别，即识别的行人图像包括可见光图像和

红外图像。在现实的生活场景中，传统的行人重识别方法难以满足复杂的识别要求，

光照、角度、遮挡，可见光与红外图像的模态鸿沟等因素都会影响识别的准确性。为

此，本文提出一种基于残差网络，融合注意力机制并进行迁移学习的跨模态行人重识

别网络模型，旨在提高跨模态行人重识别的准确性。具体工作包括以下几个方面：

（1）采集和预处理村民图像数据集。收集村民的RGB和IR图像，对其进行分

类标签及归一化处理，并进行数据增强操作扩充村民图像数量，提高模型的泛化能力。

另外，将数据集按照7：3的比例划分为训练集和测试集。

（2）提出一种以ResNet50为骨干网络，融合注意力机制并进行迁移学习的跨模

态行人重识别网络模型。首先，图像经过信道交换网络来实现跨模态数据的信息交换

和融合，这个过程是自适应的和动态的，且不引入额外的参数。其次，引入SENet

注意力机制，提取不同通道不同区域的权重信息，调整权重来关注重点信息。最后，

通过分类损失和权重正则化三元组损失函数优化模型，最小化模型损失。使用基于模

型的迁移学习来初始化参数和偏置信息，提高学习效率，加速模型的训练。通过对比

实验，该模型的rank-1和mAP值均高于其他网络模型，验证改进方法的有效性。

3

（）开发村民检测追踪系统。基于改进后的模型，经过系统需求分析，系统设

计，实现基于跨模态行人重识别的村民检测追踪系统。用户可以通过上传其他村民的

图像来检索识别目标图像中行人的信息。该系统识别准确度高，页面友好，功能清晰，

操作简单。

关键词：村民；跨模态行人重识别；残差网络；注意力机制；迁移学习

I

Abstract

Abstract

Inrecentyears,theproblemofsocialsecurityinruralareashasarousedwidespread

concern.Thetraditionalmethodofmonitoringisbyhuman,andthenisbycamera

monitoringdetectionandtrackingtechnology,whichcancaptureRGBimagesandinfrared

images.However,itisinconvenienttoflipthroughimagesbythousandsofframes.

Therefore,personre-identificationtechnologyappears.Personre-identificationisa

technologytojudgewhetherpersonimagesunderdifferentsurveillancecamerasbelongto

thesameperson.Andcross-modalpersonre-identification,thatis,personimagesinclude

RGBimagesandinfraredimages.Itisdifficulttore-identifypersoninreallife,because

complexfactors,includingillumination,angle,themodalgapandsoonb