图文跨模态匹配问题研究的国内外文献综述

跨模态检索实际上是系统对某种模态查询词与其他模态数据进行语义相似性比较，然后使用K近邻算法获取与查询词最相似的K个数据作为检索结果返回给用户的过程，其关键在于多种模态数据间的相似性比较。对于单模态检索而言，一般只需将单模态数据映射到一个特征空间，然后便可基于对应的特征进行相似性比较。然而对于跨模态检索，各模态数据分别服从不同的概率分布，因此具有各自独立的特征空间，不同模态数据在特征空间的表现形式迥异，因此很难直接对不同模态数据的特征进行相似性比较，这样的情况被称为模态间的异构性。为了实现跨模态检索，国内外研究人员针对不同模态间的异构性做了大量研究。目前，