基于LDA2Vec和残差网络的跨媒体融合方法研究

【目的】在跨媒体融合机制的理论基础上,优化特征提取以解决异构数据间的语义鸿沟问题。【方法】基于LDA2Vec和ResNet V2模型分别对文本和图片两种媒体形式进行特征提取,通过语义关联匹配将异构的文本图片特征信息映射到一致性表达空间中,完成检索。【结果】相比使用LDA和SIFT算法进行特征提取的跨媒体融合实验,本文方法将文本、图片相互检索的MAP值提高到0.454。【局限】跨媒体数据集的训练集数量不够导致特征训练效果有限;仅考虑优化特征提取方法对跨媒体融合实验效果的提升有限。【结论】本文所提方法能够改善跨媒体融合的实验效果,从跨媒体融合过程入手,为跨媒体融合研究提供了新的研究思路。...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Veröffentlicht in:	数据分析与知识发现 2019-10 (10), p.78-88
Hauptverfasser:	钟庆虹, 乔晓东, 张运良, 翁梦娟
Format:	Artikel
Sprache:	chi
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

container_end_page	88
container_issue	10
container_start_page	78
container_title	数据分析与知识发现
container_volume
creator	钟庆虹乔晓东张运良翁梦娟
description	【目的】在跨媒体融合机制的理论基础上,优化特征提取以解决异构数据间的语义鸿沟问题。【方法】基于LDA2Vec和ResNet V2模型分别对文本和图片两种媒体形式进行特征提取,通过语义关联匹配将异构的文本图片特征信息映射到一致性表达空间中,完成检索。【结果】相比使用LDA和SIFT算法进行特征提取的跨媒体融合实验,本文方法将文本、图片相互检索的MAP值提高到0.454。【局限】跨媒体数据集的训练集数量不够导致特征训练效果有限;仅考虑优化特征提取方法对跨媒体融合实验效果的提升有限。【结论】本文所提方法能够改善跨媒体融合的实验效果,从跨媒体融合过程入手,为跨媒体融合研究提供了新的研究思路。
doi_str_mv	10.11925/infotech.2096-3467.2019.0052
format	Article
fullrecord	<record><control><sourceid>cass</sourceid><recordid>TN_cdi_cass_nssd_7100346884</recordid><sourceformat>XML</sourceformat><sourcesystem>PC</sourcesystem><cass_id>7100346884</cass_id><sourcerecordid>7100346884</sourcerecordid><originalsourceid>FETCH-LOGICAL-c1240-140a46d57753a91128c0a0c2558e7a7e710198429a7dde633a3dcbb7484487893</originalsourceid><addsrcrecordid>eNo9j7tKA0EYhadQMMQ8gbXlrnP_Z-xCvMKCjbENs7MTDEgsxkewELyg8VKIqKVapAkYjORtMjt5DBcUq3M48B3OQWiV4JQQTcVar989PnH2MKVYy4RxCZUjOsVY0AVU-0-XUMP7Xo6ZoERJkDW0Hl4ms8lVttGkB86GwUU5PA_jYZzexO-n-Hg6H7-Fj8Fsejt_vgzXZ-XDVzm6j6938f1zGS12zZF3jT-to_bW5n5rJ8n2tndbzSyxhHKcEI4Nl4UAEMxoQqiy2GBLhVAODDgg1VLFqTZQFE4yZlhh8xy44lyB0qyOVn57rfG-0_e-6FQMrv4oxdkP3WRYKg</addsrcrecordid><sourcetype>Aggregation Database</sourcetype><iscdi>true</iscdi><recordtype>article</recordtype></control><display><type>article</type><title>基于LDA2Vec和残差网络的跨媒体融合方法研究</title><source>国家哲学社会科学学术期刊数据库 (National Social Sciences Database)</source><creator>钟庆虹 ; 乔晓东 ; 张运良 ; 翁梦娟</creator><creatorcontrib>钟庆虹 ; 乔晓东 ; 张运良 ; 翁梦娟</creatorcontrib><description>【目的】在跨媒体融合机制的理论基础上,优化特征提取以解决异构数据间的语义鸿沟问题。【方法】基于LDA2Vec和ResNet V2模型分别对文本和图片两种媒体形式进行特征提取,通过语义关联匹配将异构的文本图片特征信息映射到一致性表达空间中,完成检索。【结果】相比使用LDA和SIFT算法进行特征提取的跨媒体融合实验,本文方法将文本、图片相互检索的MAP值提高到0.454。【局限】跨媒体数据集的训练集数量不够导致特征训练效果有限;仅考虑优化特征提取方法对跨媒体融合实验效果的提升有限。【结论】本文所提方法能够改善跨媒体融合的实验效果,从跨媒体融合过程入手,为跨媒体融合研究提供了新的研究思路。</description><identifier>ISSN: 2096-3467</identifier><identifier>DOI: 10.11925/infotech.2096-3467.2019.0052</identifier><language>chi</language><publisher>中国科学院文献情报中心</publisher><ispartof>数据分析与知识发现, 2019-10 (10), p.78-88</ispartof><lds50>peer_reviewed</lds50><oa>free_for_read</oa><woscitedreferencessubscribed>false</woscitedreferencessubscribed></display><links><openurl>$$Topenurl_article</openurl><openurlfulltext>$$Topenurlfull_article</openurlfulltext><thumbnail>$$Tsyndetics_thumb_exl</thumbnail><link.rule.ids>314,776,780,27901,27902</link.rule.ids></links><search><creatorcontrib>钟庆虹</creatorcontrib><creatorcontrib>乔晓东</creatorcontrib><creatorcontrib>张运良</creatorcontrib><creatorcontrib>翁梦娟</creatorcontrib><title>基于LDA2Vec和残差网络的跨媒体融合方法研究</title><title>数据分析与知识发现</title><description>【目的】在跨媒体融合机制的理论基础上,优化特征提取以解决异构数据间的语义鸿沟问题。【方法】基于LDA2Vec和ResNet V2模型分别对文本和图片两种媒体形式进行特征提取,通过语义关联匹配将异构的文本图片特征信息映射到一致性表达空间中,完成检索。【结果】相比使用LDA和SIFT算法进行特征提取的跨媒体融合实验,本文方法将文本、图片相互检索的MAP值提高到0.454。【局限】跨媒体数据集的训练集数量不够导致特征训练效果有限;仅考虑优化特征提取方法对跨媒体融合实验效果的提升有限。【结论】本文所提方法能够改善跨媒体融合的实验效果,从跨媒体融合过程入手,为跨媒体融合研究提供了新的研究思路。</description><issn>2096-3467</issn><fulltext>true</fulltext><rsrctype>article</rsrctype><creationdate>2019</creationdate><recordtype>article</recordtype><recordid>eNo9j7tKA0EYhadQMMQ8gbXlrnP_Z-xCvMKCjbENs7MTDEgsxkewELyg8VKIqKVapAkYjORtMjt5DBcUq3M48B3OQWiV4JQQTcVar989PnH2MKVYy4RxCZUjOsVY0AVU-0-XUMP7Xo6ZoERJkDW0Hl4ms8lVttGkB86GwUU5PA_jYZzexO-n-Hg6H7-Fj8Fsejt_vgzXZ-XDVzm6j6938f1zGS12zZF3jT-to_bW5n5rJ8n2tndbzSyxhHKcEI4Nl4UAEMxoQqiy2GBLhVAODDgg1VLFqTZQFE4yZlhh8xy44lyB0qyOVn57rfG-0_e-6FQMrv4oxdkP3WRYKg</recordid><startdate>20191001</startdate><enddate>20191001</enddate><creator>钟庆虹</creator><creator>乔晓东</creator><creator>张运良</creator><creator>翁梦娟</creator><general>中国科学院文献情报中心</general><scope>NSCOK</scope></search><sort><creationdate>20191001</creationdate><title>基于LDA2Vec和残差网络的跨媒体融合方法研究</title><author>钟庆虹 ; 乔晓东 ; 张运良 ; 翁梦娟</author></sort><facets><frbrtype>5</frbrtype><frbrgroupid>cdi_FETCH-LOGICAL-c1240-140a46d57753a91128c0a0c2558e7a7e710198429a7dde633a3dcbb7484487893</frbrgroupid><rsrctype>articles</rsrctype><prefilter>articles</prefilter><language>chi</language><creationdate>2019</creationdate><toplevel>peer_reviewed</toplevel><toplevel>online_resources</toplevel><creatorcontrib>钟庆虹</creatorcontrib><creatorcontrib>乔晓东</creatorcontrib><creatorcontrib>张运良</creatorcontrib><creatorcontrib>翁梦娟</creatorcontrib><collection>国家哲学社会科学文献中心 (National Center for Philosophy and Social Sciences Documentation)</collection><jtitle>数据分析与知识发现</jtitle></facets><delivery><delcategory>Remote Search Resource</delcategory><fulltext>fulltext</fulltext></delivery><addata><au>钟庆虹</au><au>乔晓东</au><au>张运良</au><au>翁梦娟</au><format>journal</format><genre>article</genre><ristype>JOUR</ristype><atitle>基于LDA2Vec和残差网络的跨媒体融合方法研究</atitle><jtitle>数据分析与知识发现</jtitle><date>2019-10-01</date><risdate>2019</risdate><issue>10</issue><spage>78</spage><epage>88</epage><pages>78-88</pages><issn>2096-3467</issn><abstract>【目的】在跨媒体融合机制的理论基础上,优化特征提取以解决异构数据间的语义鸿沟问题。【方法】基于LDA2Vec和ResNet V2模型分别对文本和图片两种媒体形式进行特征提取,通过语义关联匹配将异构的文本图片特征信息映射到一致性表达空间中,完成检索。【结果】相比使用LDA和SIFT算法进行特征提取的跨媒体融合实验,本文方法将文本、图片相互检索的MAP值提高到0.454。【局限】跨媒体数据集的训练集数量不够导致特征训练效果有限;仅考虑优化特征提取方法对跨媒体融合实验效果的提升有限。【结论】本文所提方法能够改善跨媒体融合的实验效果,从跨媒体融合过程入手,为跨媒体融合研究提供了新的研究思路。</abstract><pub>中国科学院文献情报中心</pub><doi>10.11925/infotech.2096-3467.2019.0052</doi><tpages>11</tpages><oa>free_for_read</oa></addata></record>
fulltext	fulltext
identifier	ISSN: 2096-3467
ispartof	数据分析与知识发现, 2019-10 (10), p.78-88
issn	2096-3467
language	chi
recordid	cdi_cass_nssd_7100346884
source	国家哲学社会科学学术期刊数据库 (National Social Sciences Database)
title	基于LDA2Vec和残差网络的跨媒体融合方法研究
url	https://sfx.bib-bvb.de/sfx_tum?ctx_ver=Z39.88-2004&ctx_enc=info:ofi/enc:UTF-8&ctx_tim=2025-02-14T00%3A41%3A15IST&url_ver=Z39.88-2004&url_ctx_fmt=infofi/fmt:kev:mtx:ctx&rfr_id=info:sid/primo.exlibrisgroup.com:primo3-Article-cass&rft_val_fmt=info:ofi/fmt:kev:mtx:journal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8ELDA2Vec%E5%92%8C%E6%AE%8B%E5%B7%AE%E7%BD%91%E7%BB%9C%E7%9A%84%E8%B7%A8%E5%AA%92%E4%BD%93%E8%9E%8D%E5%90%88%E6%96%B9%E6%B3%95%E7%A0%94%E7%A9%B6&rft.jtitle=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E4%B8%8E%E7%9F%A5%E8%AF%86%E5%8F%91%E7%8E%B0&rft.au=%E9%92%9F%E5%BA%86%E8%99%B9&rft.date=2019-10-01&rft.issue=10&rft.spage=78&rft.epage=88&rft.pages=78-88&rft.issn=2096-3467&rft_id=info:doi/10.11925/infotech.2096-3467.2019.0052&rft_dat=%3Ccass%3E7100346884%3C/cass%3E%3Curl%3E%3C/url%3E&disable_directlink=true&sfx.directlink=off&sfx.report_link=0&rft_id=info:oai/&rft_id=info:pmid/&rft_cass_id=7100346884&rfr_iscdi=true