基于类别相关性的多标记深度跨模态哈希检索研究.pdf

摘要

随着计算机网络的迅猛发展和移动设备的广泛普及，多模态数据呈现出快速增长

的趋势。不同类型的数据能够提供更加全面和丰富的信息，使得人们在获取和理解信

息时具有更高效率和准确性。然而，随着多模态数据规模不断扩大，并且其生成速度

也日益增加，对于存储、处理和分析这些海量复杂数据提出了巨大挑战。跨模态检索

是一种信息检索技术，它能够在不同的媒体类型之间进行搜索和匹配。传统的文本检

索只能针对文字内容进行搜索，而跨模态检索则可以同时处理图像、音频、视频等多

种媒体形式。通过将不同媒体类型的数据转化为统一的特征表示，跨模态检索可以实

现更加全面和准确的信息查询。图卷积网络是一种基于图结构的深度学习模型，它可

以有效地处理非欧几里得空间数据。与传统的卷积神经网络不同，图卷积网络能够在

节点和边上进行特征提取，并且具有良好的可扩展性和泛化能力。跨模态哈希是一种

有效的多媒体检索技术，它可以利用二进制编码来表示不同模态的数据，从而实现快

速且低成本的相似性搜索。然而，现有的跨模态哈希方法往往忽略了标签类别之间的

相关性，导致哈希编码的语义丰富度不足。本文主要研究如何利用深度学习技术挖掘

标签类别之间的相关性，以提高跨模态检索的性能。本文提出了两个多标签跨模态哈

希方法：

(1)现有的绝大多数深度跨模态哈希检索方法侧重于从多模态数据中提取信息，

而忽略了多个标签中丰富的语义信息；少数深度跨模态哈希检索方法将标签视为独立

的实体，忽略了类别之间的联系。为了解决上述问题，本文提出了一种基于图卷积网

络的多标签深度跨模态哈希模型。该模型利用两个深度神经网络从原始文本图像对生

成哈希表示，同时引入图卷积网络来捕获多标签的类别相关性并监督哈希映射的训练。

该方法充分利用了多标签数据的类别相关性，使得哈希编码更具语义丰富性。在两个

常用数据集上进行了实验，结果表明，该方法在精度和召回率上优于现有的方法，表

明该模型具有良好的鲁棒性和灵活性。

(2)本文的第一个模型虽然注意到了标签的类别相关性，但它仅仅只是局限于局

部相似性，并没有考虑到实际应用中的全局语义相似。为了解决上述问题，本文提出

了一种基于多跳图神经网络的多标签深度跨模态哈希模型，这是对前一个模型重要的

改进。该模型利用多跳图神经网络来挖掘多标签的类别相关性，并监督图像文本对生

成更具区分度的哈希表示。这种方法不仅考虑了标签的类别相关性，还考虑了标签的

全局语义相关性，使得哈希编码更具区分度。在两个常用数据集上进行了实验，实验

结果表明在该方法在处理跨模态检索问题时具有更优的性能。

关键词：跨模态检索图卷积网络多标签学习哈希

Abstract

Withtherapiddevelopmentofcomputernetworksandthewidespread

popularityofmobiledevices,multimodaldatahasshownarapidgrowth

trend.Differenttypesofdatacanprovidemorecomprehensiveandrich

information,allowingpeopletoobtainandunderstandinformationwith

greaterefficiencyandaccuracy.However,asthescaleofmultimodaldata

continuestoexpandandthespeedatwhichitisgeneratedincreases,huge

challengesariseinstoring,processing,andanalyzingthesemassiveand

complexdata.Cross-modalretrievalisaninformationretrievaltechnique

thatenablessearchingandmatchingbetweendifferentmediatypes.

Traditionaltextretrievalcanonlysearchtextcontent,whilecross-modal

retrievalcansi