Verfahren und Vorrichtung zum Ermitteln einer optimalen Architektur eines neuronalen Netzes

Verfahren zum Ermitteln einer optimalen Architektur eines neuronalen Netzes, umfassend: Definieren eines Suchraumes mittels einer kontextfreien Grammatik (engl. context free grammar). Anlernen von neuronalen Netzen mit Kandidatenarchitekturen auf den Trainingsdaten sowie Validieren der angelernten n...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: Hutter, Frank, Schrodi, Simon, Stoll, Danny
Format: Patent
Sprache:ger
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:Verfahren zum Ermitteln einer optimalen Architektur eines neuronalen Netzes, umfassend: Definieren eines Suchraumes mittels einer kontextfreien Grammatik (engl. context free grammar). Anlernen von neuronalen Netzen mit Kandidatenarchitekturen auf den Trainingsdaten sowie Validieren der angelernten neuronalen Netzen auf den Validierungsdaten. Initialisieren eines Gauß Prozesses, wobei der Gauß Prozess einen Weisfeiler-Lehman Graph Kernel aufweist. Anpassen des Gauß Prozesses (GP) derart, dass der Gauß Prozess gegeben den Kandidatenarchitekturen die mit diesen Kandidatenarchitekturen erzielte Validierung vorhergesagt. Ausführen einer Bayes'schen Optimierung zum Auffinden der Kandidatenarchitektur, die die beste Performance erzielt hat. A method for determining an optimal architecture of a neural network. The method includes: defining a search space by means of a context-free grammar; training neural networks with candidate architectures on the training data, and validating the trained neural networks on the validation data; initializing a Gaussian process, wherein the Gaussian process comprises a Weisfeiler-Lehman graph kernel; adapting the Gaussian process such that given the candidate architectures, the Gaussian process predicts the validation achieved with these candidate architectures; and performing a Bayesian optimization for finding the candidate architecture that achieved the best performance.