Su Altı Otonom Araçlarda Derin Q-Ağları Algoritması Kullanılarak ROS Tabanlı Yol Planlama

Su altı araçları genellikle sınırlı hareket kabiliyetine sahiptir. Bu çalışma, bu problemin çözümüne odaklanmaktadır. Çalışmada Monterey Körfezi Akvaryumu Araştırma Enstitüsü tarafından geliştirilen Tethys UMOSA (Uzun Menzilli Otonom Su Altı Aracı) [1] üzerinde Yeniden Güçlendirme Öğrenmesi (RL) algoritmasının kullanılması incelenmiştir. Deneyler Gazebo simülasyon ortamında [2] gerçekleştirilmiştir. Yapılan deneylerde, Paper ve arkadaşları tarafından geliştirilen Tethys UMOSA’nın modellendiği Gazebo su altı simülasyon ortamı [3] kullanılmıştır. Geleneksel denetleyicilerin yerine gerçek zamanlı olarak Yeniden Güçlendirme Öğrenmesi (RL) algoritmalarının kullanılması incelenmiştir. UMOSA’nın yörüngesini belirlemek için Derin Q-Ağları (DQN) algoritması kullanılmıştır. Gazebo simülasyon ortamındaki su altı aracının kontrolü Robot İşletim Sistemi (ROS) kullanılarak sağlanmıştır. Sonuçlar geleneksel denetleyicilere kıyasla RL tabanlı algoritmaların potansiyel avantajlarını göstermektedir. Çalışma sonucunda UMOSA modellerinde Derin Q-Ağları algoritmasının gerçek zamanlı kontrol için verimli olarak kullanılabileceği ve simülasyon ortamında Derin Q-Ağları için gereken eğitim ortamının gerçekleştirilebilecği gözlemlenmiştir.