Kontrol Level Kecepatan Kipas Melalui Deteksi Gestur Jari Tangan Menggunakan MediaPipe dan Faster-RCNN

Interaksi antara manusia dan komputer saat ini lebih interaktif, responsif dan intuitif, di masa lalu proses interaksi tersebut diperlukan kontak secara fisik atau menggunakan sensor-sensor elektronik. Pada penelitian ini interaksi antara manusia dan komputer atau peralatan elektronik tidak diperlukan kontak fisik maupun melalui sensor karena dilakukan secara computer vision hanya menggunakan webcam sehingga proses interaksinya lebih natural. Penerapan mikrokontroler sebagai backbone utama teknologi berbasis Internet of Things di era Industry 4.0, bertujuan untuk mempermudah pekerjaan manusia terutama dukungan layanan di dunia industri. Pada era Society 5.0 semua penerapan teknologi yang ada tujuan utamanya tidak hanya mempermudah pekerjaan manusia tetapi bagaimana teknologi tersebut bisa lebih mengerti dan memahami manusianya maka disitulah diterapkan Artificial Itelligence. Dalam penelitian ini diterapkan sistem kontrol interaksi antara pengguna dan komputer untuk pengaturan level kecepatan putaran kipas angin secara otomatis dan realtime berbasis teknologi computer vision for deep learning melalui deteksi bentuk gestur jari tangan kanan dan gestur jari tangan kiri menggunakan webcam. Mikrokontroler yang digunakan pada penelitian ini adalah Arduino Uno, sedangkan penerapan computer vision for deep learning menggunakan framework MediaPipe dan Faster-RCNN. MediaPipe berfungsi untuk mendeteksi bentuk gestur fitur jari kedua tangan dan Faster-RCNN digunakan untuk proses klasifikasi empat bentuk gestur jari tangan untuk mematikan kipas angin atau menghidupkan kipas angin dengan kecepatan putarannya pada level 1, level 2 atau level 3. Hasil pengujian akurasi rata-rata deteksi gestur jari tangan menggunakan MediaPipe pada jarak 10 cm (41,6%), jarak 50 cm (85,35%), jarak 100 cm (71,68%), dan jarak 175 cm (69,33%). Sedangkan hasil pengujian Faster-RCNN mempunyai akurasi klasifikasi rata-rata pada jarak 10 cm (36%), jarak 50 cm (30,75%), jarak 100 cm (18,68 %), dan jarak 175 cm (14.83%). Abstract Interaction between humans and computers is now more interactive, responsive and intuitive, in the past the interaction process required physical contact or using electronic sensors. In this study, the interaction between humans and computers or electronic equipment does not require physical contact or through sensors because it is done in computer vision using only a webcam so that the interaction process is more natural. The application of microcontrollers as the main