Explaining a Deep Reinforcement Learning Agent Using Regression Trees

Bruken av "svart-boks"-modeller innen maskinlæring skaper problemer for systemer med fokus på sikkerhet. Systemer som nyttegjør seg av dyp forsterkende læring (engelsk: deep reinforcement learning / DRL) designes ofte med svart-boks-modeller som for eksempel nevrale nettverk. Nøyaktigheten til disse systemene kommer ofte på bekostning av hvor forståelig valgene til det nevrale nettverket er. Flere problemer oppstår hvis man prøver å forklare en svart-boks-modell uten å vite mer om den innvendige strukturen til modellen. Istedet kan en mer forståelig modell brukes til å approksimere svart-boks-modellen for å gi domene-eksperter et mer helhetlig innsyn i hvorfor svart-boks-modellene oppfører seg som de gjør. Å legge båter til kai er et vanskelig reguleringsproblem. Tidligere har flere forskjellige metoder blitt forsøkt brukt for å automatisere denne prosessen med varierende suksess, slik som mer tradisjonelle regulatorer og overvåket maskinlæring. Problemer oppstår ved bruk av for eksempel overvåket masinlæring til å løse reguleringsproblemet. For at modellen man trener opp skal kunne generalisere bra fra kai til kai må man være nøye med hva slags data man oppsamler, som er et vanskelig problem i seg selv. Dette kan løses ved å trene opp en agent ved hjelp av DRL. Istedet for å eksplisitt trene opp en agent til å legge båten til kai kan agenten lære seg selv hvordan dette kan gjøres. Agenten nyttegjør seg av et svart-boks nevralt nettverk trent opp ved hjelp av PPO (engelsk: Proximal Policy Optimization). Derfor er det interessant å undersøke metoder som kan hjelpe å forklare hva det nevrale nettverket har lært seg. I denne masteroppgaven undersøker vi alternativer modeller som kan approksimere det nevrale nettverket til agenten gjennom å herme dens oppførsel (engelsk: imitation learning). Denne approksimasjonen kan føre til ny lærdom om hva det nevrale nettverket lærte seg selv gjennom DRL, og kan gi ingeniører enda et verktøy i verktøykassa for å sikre at agenten oppfører seg som forventet. I denne masteroppgaven beviser vi at nye utviklinger innen beslutningstrær kan approksimere en DRL-agent trent til å legge båt til kai med tilfredstillende høyere nøyaktighet enn tidligere metoder. De nye metodene "Optimale Regresjonstrær" (engelsk: Optimal Regression Trees / ORT) med lineære regresjoner i løvnodene, og "Nær Optimale Regresjonstrær" (engelsk: Near-optimal Nonlinear Regression Trees / NNRT) er trent opp gjennom å herme DRL agenten med et mål om å øke inn