Deep learning based architectures for cross-domain image processing

La visió humana està restringida a l’espectre visual-òptic. La visió artificial no ho és. Les càmeres sensibles a diverses bandes espectrals d’infrarojos poden millorar les capacitats dels sistemes autònoms i proporcionar una visió completa. El contingut rellevant de l’escena es pot fer visible, especialment en situacions en què els sensors d’altres modalitats, com ara una càmera visual-òptica, requereixen una font d’il·luminació. Com a resultat, augmentar el nivell d’automatització no només evita errors humans sinó que també redueix els errors induïts per la màquina. A més, els sistemes de sensors multiespectrals amb imatges infrarojes com una modalitat són una font rica d’informació i poden augmentar la robustesa de molts sistemes autònoms. La robòtica, els automòbils, la biometria, la seguretat, la vigilància i l’exèrcit són alguns exemples de camps que poden beneficiar-se de l’ús d’imatges infrarojes en les seves respectives aplicacions. Tot i que els sensors espectrals multimodals han recorregut un llarg camí, encara hi ha diversos colls d’ampolla que ens impedeixen combinar la seva informació de sortida i utilitzar-los com a imatges completes. El problema principal amb la imatge infraroja és la manca de beneficis potencials a causa de la seva influència en el cost en la resolució del sensor, que creix exponencialment amb una resolució més gran. A causa de la tecnologia de sensors més costosa necessària per al seu desenvolupament, les seves resolucions són substancialment inferiors a les de les càmeres digitals normals. Aquesta tesi té com a objectiu millorar la visió artificial de l’espectre més enllà del visible mitjançant la integració de sensors espectrals multimodals. L’èmfasi està en transformar les imatges produïdes per millorar-ne la resolució perquè coincideixi amb la percepció humana esperada, apropar la representació del color a la comprensió humana del color natural i millorar el rendiment de l’aplicació de visió artificial. Aquesta investigació se centra principalment en dues tasques, la coloració d’imatges i la superresolució d’imatges, tant per a problemes d’un sol domini com per a problemes entre dominis. Primer comencem amb una revisió extensa de l’estat de l’art en ambdues tasques, assenyalem les deficiències dels enfocaments existents i després presentem les nostres solucions per abordar les seves limitacions. Les nostres solucions demostren que la informació del canal de baix cost (és a dir, la imatge visible) es pot utilitzar per