DINAMINIU LIETUVIU KALBOS GESTU ATPAZINIMAS /RECOGNITION OF DYNAMIC LITHUANIAN LANGUAGE GESTURES

Ranku gestu kalba yra zmoniu, turinciu klausos negalia, pagrindinis irankis savo mintims bei zinioms perteikti. Retas zmogus, neturintis klausos negalios, supranta gestu kalba, todel ranku gestu atpazinimo sistemu kurimas ir tobulinimas yra aktualus siuolaikinis uzdavinys, leidziantis padidinti zmoniu su negalia bendravimo galimybes. Ranku gestu atpazinimas taip pat leidzia bekontakciu budu valdyti ivairius irenginius. Straipsnyje nagrinejami gestu atpazinimo metodai ir pasiulytas algoritmas, leidziantis atpazinti dinaminius lietuviu kalbos gestus. Tyrimui buvo sukurtas dinaminiu gestu duomenu rinkinys, sudarytas is vaizdo irasu, kuriu kiekvieno trukme yra 3 sekundes. Is viso buvo surinkta 1100 vaizdo irasu. Duomenu rinkini sudare 10 klasiu. Pozymiams isskirti is vaizdo iraso kadru buvo naudojamas pirminio apmokymo "Inception-v3" konvoliucinis neuronu tinklas. Isskirti pozymiai buvo naudojami LSTM tinklui mokyti. Apmokytas tinklas buvo testuotas su patikros bei testavimo duomenimis ir pasieke 85 % tiksluma. Reiksminiai zodziai: dinaminiu gestu atpazinimas, LSTM, CNN, neuronu tinklai. This paper proposes a method for automated Lithuanian hands gestures data collection and for Lithuanian hands gestures classification. The dataset of 1100 samples was collected for 10 different classes of Lithuanian hands gesture. The features of hands gestures were extracted with CNN network. The classification was made with LSTM network. The trained LSTM network classified the Lithuanian hands gestures with 85% accuracy. Keywords: dynamic Lithuanian hands gesture recognition, LSTM, CNN, neuron networks.