Development of a system for retrieving vessel data for SINTEF

Store mengder data logges hvert år av sensorer som SINTEF bruker. SINTEF innehaver i dag ingen systemer som kan lagre, analysere og hente denne dataen effektivt. Dette betyr at per dags dato er dataen av liten nytte, ettersom en bruker må grave i lagrede filer for å få tak i informasjonen. Dataen er også ofte spredt over flere filer som gjør hele prosessen veldig lite effektiv. For å løse dette ble et system som håndterer opplasting av NetCDF data og for spørringer etter denne dataen designet. Når den trengs kan nå en bruker hente dataen som er lastet opp i en database. Ettersom datafiler logget av SINTEF, kan være enorme ble effektivitet en prioritet. Løsningen ble en FastAPI server koblet til en Influx database. API’et tillater så spørringer mot databasen for å få dataen etter behov. Applikasjonen er skrevet i Python, og designet som et REST API med inspirasjon fra GraphQL. For å øke effektiviteten av spørringene ble flere kompresjonsteknikker anvendt, inkludert å skrive om responsen, bruke lavere data oppløsning, GZip, og mer. Ettersom mengden data øker, blir gevinstene fra løsningen bedre når det gjelder ytelse. Applikasjonen kan eliminere 98% av overflødig data sendt gjennom bruk av kompresjonsmetodene. Denne rapporten går i detalj gjennom valgene av teknologi, metoder, og resultatene av prosjektet, delt opp i kategorier for bedre oversikt.