探索语义一致性驱动下的跨模态关联学习与信息检索技术革新

一、引言

1.1研究背景与意义

1.1.1研究背景

在当今信息爆炸的时代，数据呈现出海量、异构、多模态的特点。文本、图像、音频、视频等多种模态的数据充斥在我们的生活和工作中，如社交媒体上的图文并茂的动态、视频网站中的视频及相关文字介绍、学术数据库里的文献与配图等。传统的单模态检索方法，如仅基于文本关键词的检索，在面对如此丰富多样的多模态数据时，显得力不从心。当我们试图在海量的图像库中查找与某段文字描述相符的图像时，单纯的文本检索无法精准匹配到图像，因为图像的视觉特征难以直接与文本的语义特征建立联系；同样，在视频检索中，仅依靠文本检索难