基于改进MobileNet网络的AR辅助手语字母识别方法

TP391; 针对手语手势姿态待规范、识别率低的问题,提出一种AR辅助手语字母识别算法MS-MobileNet.设计多尺度卷积模块提取底层特征,增强网络的特征提取能力;利用 ELU激活函数来保留更全面的负值特征信息;结合适用于Web的轻量级MobileNet模型,提高面向移动AR应用的手语字母识别准确率和实时性.实验结果表明:MS-MobileNet在数据集ASL-M、NUS-Ⅱ和Creative Senz3D上识别准确率较原模型分别提高了 2.58％、5.32％和3.04％.基于MS-MobileNet网络设计一套WebAR辅助的手语字母协同交互系统,经评估测试,用户平均参与度达到8.2分,...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Veröffentlicht in:	系统仿真学报 2023-06, Vol.35 (6), p.1308-1321
Hauptverfasser:	刘春宏, 王松, 王赋攀, 唐文生, 裴云强, 田东生, 吴亚东
Format:	Artikel
Sprache:	chi
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Beschreibung
Zusammenfassung:	TP391; 针对手语手势姿态待规范、识别率低的问题,提出一种AR辅助手语字母识别算法MS-MobileNet.设计多尺度卷积模块提取底层特征,增强网络的特征提取能力;利用 ELU激活函数来保留更全面的负值特征信息;结合适用于Web的轻量级MobileNet模型,提高面向移动AR应用的手语字母识别准确率和实时性.实验结果表明:MS-MobileNet在数据集ASL-M、NUS-Ⅱ和Creative Senz3D上识别准确率较原模型分别提高了 2.58％、5.32％和3.04％.基于MS-MobileNet网络设计一套WebAR辅助的手语字母协同交互系统,经评估测试,用户平均参与度达到8.2分,单次识别耗时低于0.115 s,能较好地满足用户沉浸式的实时手语字母交互需求.
ISSN:	1004-731X
DOI:	10.16182/j.issn1004731x.joss.22-0216