HIERARCHICAL REINFORCEMENT LEARNING-BASED ROUTING METHOD AND SYSTEM FOR SUPPORTING GROUPED RSU IN URBAN VANET

Proposed are a hierarchical reinforcement learning-based routing method and system for supporting a grouped RSU in an urban VANET. The hierarchical reinforcement learning-based routing method for supporting a grouped RSU in an urban VANET proposed by the present invention comprises the steps of: generating a data packet to be transmitted, determining a source roadside unit (RSU), and transmitting the packet to adjacent vehicles on the basis of a link cost table, by a user vehicle; identifying an RSU of the nearest destination vehicle among the adjacent vehicles, and determining a group to which the RSU of the destination vehicle belongs, by the source RSU; selecting a next RSU in a group Q-table on the basis of information of the destination vehicle; retransmitting an ACK message including information of the next RSU having a maximum Q-value in the group Q-table to the source RSU; and updating a local Q-table of the source RSU. L'invention concerne un procédé et un système de routage basés sur l'apprentissage par renforcement hiérarchique pour prendre en charge une RSU groupée dans un VANET urbain. Le procédé de routage basé sur l'apprentissage par renforcement hiérarchique pour prendre en charge une RSU groupée dans un VANET urbain proposé par la présente invention comprend les étapes consistant à : générer un paquet de données à transmettre, déterminer une unité de bord de route source (RSU), et transmettre le paquet à des véhicules adjacents sur la base d'une table de coût de liaison, par un véhicule utilisateur ; identifier une RSU du véhicule de destination le plus proche parmi les véhicules adjacents, et déterminer un groupe auquel appartient la RSU du véhicule de destination, par la RSU source ; sélectionner une RSU suivante dans une table Q de groupe sur la base d'informations du véhicule de destination ; retransmettre un message ACK comprenant des informations de la RSU suivante ayant une valeur Q maximale dans la table Q de groupe à la RSU source ; et mettre à jour une table Q locale de la RSU source. 도시형 VANET에서 그룹화된 RSU 지원하는 계층적 강화 학습 기반 라우팅 방법 및 시스템이 제시된다. 본 발명에서 제안하는 도시형 VANET에서 그룹화된 RSU 지원하는 계층적 강화 학습 기반 라우팅 방법은 사용자 차량이 전송할 데이터 패킷을 생성하여, 소스 RSU(roadside unit)를 결정하여 링크 비용 테이블을 기반으로 인접 차량들에게 패킷을 전송하는 단계, 상기 소스 RSU는 인접 차량들 중 가장 가까운 목적지 차량의 RSU를 식별하고, 상기 목적지 차량의 RSU가 속한 그룹을 확인하는 단계, 상기 목적지 차량의 정보에 기초하여 그룹 Q-테이블에서 다음 RSU를 선택하는 단계, 상기 그룹 Q-테이블에서 최대 Q-값을 가진 다음 RSU의 정보를 포함하는 ACK 메시지를 소스 RSU로 다시 전송하는 단계 및 소스 RSU의 로컬 Q-테이블을 업데이트하는 단계를 포함한다.