结合光流算法与注意力机制的U-Net网络跨模态视听语音分离

TN912.3; 目前多数的视听分离模型,大多是基于视频特征和音频特征简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,该文针对此问题提出了新的模型.该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合稠密光流(Farneback)算法和U-Net网络,提出跨模态融合的光流-视听语音分离(Flow-AVSS)模型.该模型通过Farneback算法和轻量级网络ShuffleNet v2分别提取运动特征和唇部特征,然后将运动特征与唇部特征进行仿射变换,经过时间卷积模块(TCN)得到视觉特征.为充分利用到视觉信息,在进行特征融合时采用多头注意力机制,将视觉特征与音...

Ausführliche Beschreibung

Bibliographische Detailangaben

Veröffentlicht in:	电子与信息学报 2023, Vol.45 (10), p.3538-3546
Hauptverfasser:	兰朝凤, 蒋朋威, 陈欢, 韩闯, 郭小霞
Format:	Artikel
Sprache:	chi
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!