SYSTEM AND METHOD FOR PROFILING ON-CHIP PERFORMANCE OF NEURAL NETWORK EXECUTION

A method includes: accessing a static schedule of a target neural network for execution by a processing device, the target neural network including a set of layers; generating a set of expected performance metrics of the target neural network based on the static schedule, the set of expected perform...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: EREDDY, Rajasekhar, DATLA, Raju, VENNAM, Suresh, BANERJEE, Sameek, GHANORE, Abhilash, KALLEM, Shilpa, QADEER, Wajahat, SHAHIM, Mohammed, HAMEED, Rehan, UPPALAPATI, Satyanarayana
Format: Patent
Sprache:eng ; fre
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:A method includes: accessing a static schedule of a target neural network for execution by a processing device, the target neural network including a set of layers; generating a set of expected performance metrics of the target neural network based on the static schedule, the set of expected performance metrics including a first expected performance metric for a first layer in the set of layers; accessing a set of runtime performance metrics captured during execution of the target neural network by the processing device, the set of runtime performance metrics including a first runtime performance metric for the first layer; and, in response to detecting a difference between the first runtime performance metric and the first expected performance metric exceeding a threshold, serving an alert at a user interface. Un procédé consiste : à accéder à un programme statique d'un réseau neuronal cible devant être exécuté par un dispositif de traitement, le réseau neuronal cible comprenant un ensemble de couches ; à générer un ensemble de critères de mesure de performances attendues du réseau neuronal cible sur la base du programme statique, l'ensemble des critères de mesure de performances attendues comprenant un premier critère de mesure de performance attendue d'une première couche dans l'ensemble de couches ; à accéder à un ensemble de critères de mesure de performance d'exécution capturées pendant l'exécution du réseau neuronal cible par le dispositif de traitement, l'ensemble des critères de mesure de performance d'exécution comprenant un premier critère de mesure de performance d'exécution de la première couche ; et, en réponse à la détection du fait qu'une différence entre le premier critère de mesure de performance d'exécution et le premier critère de mesure de performance attendue dépasse un seuil, à servir une alerte au niveau d'une interface utilisateur.