结合光流算法与注意力机制的U-Net网络跨模态视听语音分离
TN912.3; 目前多数的视听分离模型,大多是基于视频特征和音频特征简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,该文针对此问题提出了新的模型.该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合稠密光流(Farneback)算法和U-Net网络,提出跨模态融合的光流-视听语音分离(Flow-AVSS)模型.该模型通过Farneback算法和轻量级网络ShuffleNet v2分别提取运动特征和唇部特征,然后将运动特征与唇部特征进行仿射变换,经过时间卷积模块(TCN)得到视觉特征.为充分利用到视觉信息,在进行特征融合时采用多头注意力机制,将视觉特征与音...
Gespeichert in:
| Veröffentlicht in: | 电子与信息学报 2023, Vol.45 (10), p.3538-3546 |
|---|---|
| Hauptverfasser: | , , , , |
| Format: | Artikel |
| Sprache: | chi |
| Online-Zugang: | Volltext |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| container_end_page | 3546 |
|---|---|
| container_issue | 10 |
| container_start_page | 3538 |
| container_title | 电子与信息学报 |
| container_volume | 45 |
| creator | 兰朝凤 蒋朋威 陈欢 韩闯 郭小霞 |
| description | TN912.3; 目前多数的视听分离模型,大多是基于视频特征和音频特征简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,该文针对此问题提出了新的模型.该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合稠密光流(Farneback)算法和U-Net网络,提出跨模态融合的光流-视听语音分离(Flow-AVSS)模型.该模型通过Farneback算法和轻量级网络ShuffleNet v2分别提取运动特征和唇部特征,然后将运动特征与唇部特征进行仿射变换,经过时间卷积模块(TCN)得到视觉特征.为充分利用到视觉信息,在进行特征融合时采用多头注意力机制,将视觉特征与音频特征进行跨模态融合,得到融合视听特征,最后融合视听特征经过U-Net分离网络得到分离语音.利用客观语音质量评估(PESQ)、短时客观可懂度(STOI)及源失真比(SDR)评价指标,在AVspeech数据集进行实验测试.研究表明,该文所提方法与纯语音分离网络和仅采用特征拼接的视听分离网络相比,性能上分别提高了2.23 dB和1.68 dB.由此表明,采用跨模态注意力进行特征融合,能更加充分利用各个模态相关性,增加的唇部运动特征,能有效提高视频特征的鲁棒性,提高分离效果. |
| doi_str_mv | 10.11999/JEIT221500 |
| format | Article |
| fullrecord | <record><control><sourceid>wanfang_jour</sourceid><recordid>TN_cdi_wanfang_journals_dzkxxk202310010</recordid><sourceformat>XML</sourceformat><sourcesystem>PC</sourcesystem><wanfj_id>dzkxxk202310010</wanfj_id><sourcerecordid>dzkxxk202310010</sourcerecordid><originalsourceid>FETCH-LOGICAL-s1020-537c8d640911208d7c767da690b6bc908ccb66fc4edf05a1c94548d2d6a21353</originalsourceid><addsrcrecordid>eNotjz9Lw0AcQG9QsNROfgin6O_ukktulFK1UnWpc0nuEtFKBKNYnCzUEh20IiJoQVw0g3-G4B8MfhvvEr-Fik5ve4-H0ASGKYw559MLtXqTEGwBjKASBuCG5XA2hipRtOYBoZjZALSEFvPsTA1idXCon7v544VOzz_fjnWa6N6JOrrSw3cVv-SXvRVjyd_OP07zbFi8Jjq50fvd4q6vBvfF08PXdarifn6bjaPRwN2I_Mo_y6g5W2tW543G8ly9OtMwIgwEDIvawpHMBI4xAUfawma2dBkHj3mCgyOEx1ggTF8GYLlYcNMyHUkkcwmmFi2jyT_trhsGbrjaWt_c2Qp_gi251-502uR3EAAD_QaElGcW</addsrcrecordid><sourcetype>Aggregation Database</sourcetype><iscdi>true</iscdi><recordtype>article</recordtype></control><display><type>article</type><title>结合光流算法与注意力机制的U-Net网络跨模态视听语音分离</title><source>Alma/SFX Local Collection</source><creator>兰朝凤 ; 蒋朋威 ; 陈欢 ; 韩闯 ; 郭小霞</creator><creatorcontrib>兰朝凤 ; 蒋朋威 ; 陈欢 ; 韩闯 ; 郭小霞</creatorcontrib><description>TN912.3; 目前多数的视听分离模型,大多是基于视频特征和音频特征简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,该文针对此问题提出了新的模型.该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合稠密光流(Farneback)算法和U-Net网络,提出跨模态融合的光流-视听语音分离(Flow-AVSS)模型.该模型通过Farneback算法和轻量级网络ShuffleNet v2分别提取运动特征和唇部特征,然后将运动特征与唇部特征进行仿射变换,经过时间卷积模块(TCN)得到视觉特征.为充分利用到视觉信息,在进行特征融合时采用多头注意力机制,将视觉特征与音频特征进行跨模态融合,得到融合视听特征,最后融合视听特征经过U-Net分离网络得到分离语音.利用客观语音质量评估(PESQ)、短时客观可懂度(STOI)及源失真比(SDR)评价指标,在AVspeech数据集进行实验测试.研究表明,该文所提方法与纯语音分离网络和仅采用特征拼接的视听分离网络相比,性能上分别提高了2.23 dB和1.68 dB.由此表明,采用跨模态注意力进行特征融合,能更加充分利用各个模态相关性,增加的唇部运动特征,能有效提高视频特征的鲁棒性,提高分离效果.</description><identifier>ISSN: 1009-5896</identifier><identifier>DOI: 10.11999/JEIT221500</identifier><language>chi</language><publisher>哈尔滨理工大学测控技术与通信工程学院 哈尔滨 150080%中国舰船研究设计中心 武汉 430064</publisher><ispartof>电子与信息学报, 2023, Vol.45 (10), p.3538-3546</ispartof><rights>Copyright © Wanfang Data Co. Ltd. All Rights Reserved.</rights><lds50>peer_reviewed</lds50><woscitedreferencessubscribed>false</woscitedreferencessubscribed></display><links><openurl>$$Topenurl_article</openurl><openurlfulltext>$$Topenurlfull_article</openurlfulltext><thumbnail>$$Uhttp://www.wanfangdata.com.cn/images/PeriodicalImages/dzkxxk/dzkxxk.jpg</thumbnail><link.rule.ids>314,780,784,4024,27923,27924,27925</link.rule.ids></links><search><creatorcontrib>兰朝凤</creatorcontrib><creatorcontrib>蒋朋威</creatorcontrib><creatorcontrib>陈欢</creatorcontrib><creatorcontrib>韩闯</creatorcontrib><creatorcontrib>郭小霞</creatorcontrib><title>结合光流算法与注意力机制的U-Net网络跨模态视听语音分离</title><title>电子与信息学报</title><description>TN912.3; 目前多数的视听分离模型,大多是基于视频特征和音频特征简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,该文针对此问题提出了新的模型.该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合稠密光流(Farneback)算法和U-Net网络,提出跨模态融合的光流-视听语音分离(Flow-AVSS)模型.该模型通过Farneback算法和轻量级网络ShuffleNet v2分别提取运动特征和唇部特征,然后将运动特征与唇部特征进行仿射变换,经过时间卷积模块(TCN)得到视觉特征.为充分利用到视觉信息,在进行特征融合时采用多头注意力机制,将视觉特征与音频特征进行跨模态融合,得到融合视听特征,最后融合视听特征经过U-Net分离网络得到分离语音.利用客观语音质量评估(PESQ)、短时客观可懂度(STOI)及源失真比(SDR)评价指标,在AVspeech数据集进行实验测试.研究表明,该文所提方法与纯语音分离网络和仅采用特征拼接的视听分离网络相比,性能上分别提高了2.23 dB和1.68 dB.由此表明,采用跨模态注意力进行特征融合,能更加充分利用各个模态相关性,增加的唇部运动特征,能有效提高视频特征的鲁棒性,提高分离效果.</description><issn>1009-5896</issn><fulltext>true</fulltext><rsrctype>article</rsrctype><creationdate>2023</creationdate><recordtype>article</recordtype><recordid>eNotjz9Lw0AcQG9QsNROfgin6O_ukktulFK1UnWpc0nuEtFKBKNYnCzUEh20IiJoQVw0g3-G4B8MfhvvEr-Fik5ve4-H0ASGKYw559MLtXqTEGwBjKASBuCG5XA2hipRtOYBoZjZALSEFvPsTA1idXCon7v544VOzz_fjnWa6N6JOrrSw3cVv-SXvRVjyd_OP07zbFi8Jjq50fvd4q6vBvfF08PXdarifn6bjaPRwN2I_Mo_y6g5W2tW543G8ly9OtMwIgwEDIvawpHMBI4xAUfawma2dBkHj3mCgyOEx1ggTF8GYLlYcNMyHUkkcwmmFi2jyT_trhsGbrjaWt_c2Qp_gi251-502uR3EAAD_QaElGcW</recordid><startdate>2023</startdate><enddate>2023</enddate><creator>兰朝凤</creator><creator>蒋朋威</creator><creator>陈欢</creator><creator>韩闯</creator><creator>郭小霞</creator><general>哈尔滨理工大学测控技术与通信工程学院 哈尔滨 150080%中国舰船研究设计中心 武汉 430064</general><scope>2B.</scope><scope>4A8</scope><scope>92I</scope><scope>93N</scope><scope>PSX</scope><scope>TCJ</scope></search><sort><creationdate>2023</creationdate><title>结合光流算法与注意力机制的U-Net网络跨模态视听语音分离</title><author>兰朝凤 ; 蒋朋威 ; 陈欢 ; 韩闯 ; 郭小霞</author></sort><facets><frbrtype>5</frbrtype><frbrgroupid>cdi_FETCH-LOGICAL-s1020-537c8d640911208d7c767da690b6bc908ccb66fc4edf05a1c94548d2d6a21353</frbrgroupid><rsrctype>articles</rsrctype><prefilter>articles</prefilter><language>chi</language><creationdate>2023</creationdate><toplevel>peer_reviewed</toplevel><toplevel>online_resources</toplevel><creatorcontrib>兰朝凤</creatorcontrib><creatorcontrib>蒋朋威</creatorcontrib><creatorcontrib>陈欢</creatorcontrib><creatorcontrib>韩闯</creatorcontrib><creatorcontrib>郭小霞</creatorcontrib><collection>Wanfang Data Journals - Hong Kong</collection><collection>WANFANG Data Centre</collection><collection>Wanfang Data Journals</collection><collection>万方数据期刊 - 香港版</collection><collection>China Online Journals (COJ)</collection><collection>China Online Journals (COJ)</collection><jtitle>电子与信息学报</jtitle></facets><delivery><delcategory>Remote Search Resource</delcategory><fulltext>fulltext</fulltext></delivery><addata><au>兰朝凤</au><au>蒋朋威</au><au>陈欢</au><au>韩闯</au><au>郭小霞</au><format>journal</format><genre>article</genre><ristype>JOUR</ristype><atitle>结合光流算法与注意力机制的U-Net网络跨模态视听语音分离</atitle><jtitle>电子与信息学报</jtitle><date>2023</date><risdate>2023</risdate><volume>45</volume><issue>10</issue><spage>3538</spage><epage>3546</epage><pages>3538-3546</pages><issn>1009-5896</issn><abstract>TN912.3; 目前多数的视听分离模型,大多是基于视频特征和音频特征简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,该文针对此问题提出了新的模型.该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合稠密光流(Farneback)算法和U-Net网络,提出跨模态融合的光流-视听语音分离(Flow-AVSS)模型.该模型通过Farneback算法和轻量级网络ShuffleNet v2分别提取运动特征和唇部特征,然后将运动特征与唇部特征进行仿射变换,经过时间卷积模块(TCN)得到视觉特征.为充分利用到视觉信息,在进行特征融合时采用多头注意力机制,将视觉特征与音频特征进行跨模态融合,得到融合视听特征,最后融合视听特征经过U-Net分离网络得到分离语音.利用客观语音质量评估(PESQ)、短时客观可懂度(STOI)及源失真比(SDR)评价指标,在AVspeech数据集进行实验测试.研究表明,该文所提方法与纯语音分离网络和仅采用特征拼接的视听分离网络相比,性能上分别提高了2.23 dB和1.68 dB.由此表明,采用跨模态注意力进行特征融合,能更加充分利用各个模态相关性,增加的唇部运动特征,能有效提高视频特征的鲁棒性,提高分离效果.</abstract><pub>哈尔滨理工大学测控技术与通信工程学院 哈尔滨 150080%中国舰船研究设计中心 武汉 430064</pub><doi>10.11999/JEIT221500</doi><tpages>9</tpages></addata></record> |
| fulltext | fulltext |
| identifier | ISSN: 1009-5896 |
| ispartof | 电子与信息学报, 2023, Vol.45 (10), p.3538-3546 |
| issn | 1009-5896 |
| language | chi |
| recordid | cdi_wanfang_journals_dzkxxk202310010 |
| source | Alma/SFX Local Collection |
| title | 结合光流算法与注意力机制的U-Net网络跨模态视听语音分离 |
| url | https://sfx.bib-bvb.de/sfx_tum?ctx_ver=Z39.88-2004&ctx_enc=info:ofi/enc:UTF-8&ctx_tim=2025-01-07T17%3A59%3A55IST&url_ver=Z39.88-2004&url_ctx_fmt=infofi/fmt:kev:mtx:ctx&rfr_id=info:sid/primo.exlibrisgroup.com:primo3-Article-wanfang_jour&rft_val_fmt=info:ofi/fmt:kev:mtx:journal&rft.genre=article&rft.atitle=%E7%BB%93%E5%90%88%E5%85%89%E6%B5%81%E7%AE%97%E6%B3%95%E4%B8%8E%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E7%9A%84U-Net%E7%BD%91%E7%BB%9C%E8%B7%A8%E6%A8%A1%E6%80%81%E8%A7%86%E5%90%AC%E8%AF%AD%E9%9F%B3%E5%88%86%E7%A6%BB&rft.jtitle=%E7%94%B5%E5%AD%90%E4%B8%8E%E4%BF%A1%E6%81%AF%E5%AD%A6%E6%8A%A5&rft.au=%E5%85%B0%E6%9C%9D%E5%87%A4&rft.date=2023&rft.volume=45&rft.issue=10&rft.spage=3538&rft.epage=3546&rft.pages=3538-3546&rft.issn=1009-5896&rft_id=info:doi/10.11999/JEIT221500&rft_dat=%3Cwanfang_jour%3Edzkxxk202310010%3C/wanfang_jour%3E%3Curl%3E%3C/url%3E&disable_directlink=true&sfx.directlink=off&sfx.report_link=0&rft_id=info:oai/&rft_id=info:pmid/&rft_wanfj_id=dzkxxk202310010&rfr_iscdi=true |