基于LDA2Vec和残差网络的跨媒体融合方法研究

【目的】在跨媒体融合机制的理论基础上,优化特征提取以解决异构数据间的语义鸿沟问题。【方法】基于LDA2Vec和ResNet V2模型分别对文本和图片两种媒体形式进行特征提取,通过语义关联匹配将异构的文本图片特征信息映射到一致性表达空间中,完成检索。【结果】相比使用LDA和SIFT算法进行特征提取的跨媒体融合实验,本文方法将文本、图片相互检索的MAP值提高到0.454。【局限】跨媒体数据集的训练集数量不够导致特征训练效果有限;仅考虑优化特征提取方法对跨媒体融合实验效果的提升有限。【结论】本文所提方法能够改善跨媒体融合的实验效果,从跨媒体融合过程入手,为跨媒体融合研究提供了新的研究思路。