Multiple multivariate regression and global sequence optimization:: An application to large-scale models of radiation intensity

We investigate the strengths and weaknesses of several neural network architectures applied to a large-scale thermodynamical application in which sequences of measurements from gas columns must be integrated to construct the columns' spectral radiation intensity profiles. This is a problem of interest for the aeronautical industry. The approaches proposed for its solution can be applied to a wide range of signal problems. Physical models often make use of a number of fitted functions as a simplified parametric base to approximate a high-dimensional nonlinear (and usually computationally intractable) function. Realistically, models of radiation contain thousands of fitted functions. The use of neural networks in applications of this scale are rare, and most effective techniques rely on cross-validation methods or involve other heavy computational overheads that are impracticable when a very large number of models need to be trained. We have employed here two different approaches: multiple multivariate regression, and global sequence minimization. The first approach shows that the integration of several nonlinear regression models into a single neural network may improve both generalization performance and speed of computation. For the former we propose a method of optimization by which we specialize our models globally, on typical sequences of input signals. We show how this does not degrade the overall accuracy but, rather, allows us to specialize our models. Wir untersuchen die Stärken und Schwächen verschiedener neuronaler Netzwerkarchitekturen für hochdimensionale thermodynamische Anwendungen. Dabei werden Meßreihen von Gassäulen vereint, um deren Strahlungsstärkenprofile zu rekonstruieren. Dieses Problem ist für die Luftfahrt von Interesse. Die vorgeschlagenen Lösungsansätze können auf eine Vielzahl von Problemen aus der Signalverarbeitung übertragen werden. Physikalische Modelle verwenden häufig mehrere angepaßte Funktionen als vereinfachte parametrische Basis, um eine hochdimensionale (und damit gewöhnlich mit dem Rechner schwer zu behandelnde) Funktion zu approximieren. Realistische Modelle für die Strahlung umfassen tausende angepaßter Funktionen. Für solche Anwendungen werden bisher neuronale Netzwerke nur selten verwendet. Die meisten effizienten Verfahren basieren auf `cross-valitation'-Methoden oder bringen in anderer Weise enormen rechentechnischen Aufwand mit sich, so daß sie nicht mehr anwendbar sind, wenn sehr viele Modelle Gebraucht werden