Neural sign language recognition and translation : towards sign language applications powered by artificial intelligence

Artificiële intelligentie (AI) is sinds enkele jaren alomtegenwoordig. We bedienen toestellen met AI-gestuurde spraakherkenning en vertalen geschreven teksten met AI. Gebarentaalherkenning en -vertaling zijn echter minder geavanceerd. De twee voornaamste redenen hiervoor zijn een gebrek aan data en het feit dat deze uitdagende taken een interdisciplinaire aanpak vragen, met samenwerking tussen taalkundigen en computerwetenschappers. Dit proefschrift gaat aan de slag met gebarentaaldata, in het bijzonder voor de Vlaamse Gebarentaal (VGT). Dit doet het vanuit het perspectief van vier AI-gebaseerde toepassingen die in de toekomst kunnen ontwikkeld worden. Deze zijn: automatische transcriptie van gebarentaaldata, een zoekfunctie voor het vertalend woordenboek VGT-Nederlands, automatische vertaling van een gebarentaal naar geschreven taal en applicaties die toelaten individuele gebaren te leren en oefenen. De AI-modellen die beschreven zijn in dit onderzoek, zijn in staat om handvormen en bewegingen te herkennen. Op basis van deze bouwblokken kunnen ze ook gebaren herkennen, individueel of in een zin. De technieken die hiervoor gebruikt worden, zijn ook onderliggend aan de op dit moment meest geavanceerde AI-modellen. Op basis van het onderzoek zullen op de korte tot middellange termijn toepassingen voor gebarentalen kunnen ontwikkeld worden, gebruik makend van AI.