METHOD AND APPARATUS FOR DETERMINING MEMORY REQUIREMENT IN A NETWORK

The present disclosure disclose method and apparatus for determining memory requirement for processing a DNN model on a device, a method includes receiving a DNN model for an input, wherein the DNN model includes a plurality of processing layers. The method includes generating a network graph of the...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: PASUPULETI, Sirish Kumar, RAMASAMY, Chandra Kumar, GADDE, Raj Narayana, VISHNOI, Ashok, RAJAGOPAL, Vasanthakumar, MINISKAR, Narasinga Rao
Format: Patent
Sprache:eng ; fre
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:The present disclosure disclose method and apparatus for determining memory requirement for processing a DNN model on a device, a method includes receiving a DNN model for an input, wherein the DNN model includes a plurality of processing layers. The method includes generating a network graph of the DNN model. The method includes creating a colored network graph of the DNN model based on the identified execution order of the plurality of processing layers. The colored network graph indicates assignment of at least one memory buffer for storing at least one output of at least one processing layer. The method includes determining at least one buffer reuse overlap possibility across the plurality of processing layers. Based on the determined at least one buffer reuse overlap possibility, the method includes determining and assigning the memory required for processing the DNN model. La présente invention concerne un procédé et un appareil pour la détermination des besoins en mémoire pour le traitement d'un modèle DNN sur un dispositif, un procédé comprenant la réception d'un modèle DNN pour une entrée, le modèle DNN comprenant une pluralité de couches de traitement. Le procédé comprend la génération d'un graphe de réseau du modèle DNN. Le procédé comprend la création d'un graphe de réseau coloré du modèle DNN sur la base de l'ordre d'exécution identifié de la pluralité de couches de traitement. Le graphe de réseau coloré indique l'attribution d'au moins une mémoire tampon pour le stockage d'au moins une sortie d'au moins une couche de traitement. Le procédé comprend la détermination d'au moins une possibilité de chevauchement en matière de réutilisation de mémoire tampon au sein de la pluralité de couches de traitement. Sur la base de la ou des possibilités de chevauchement en matière de réutilisation de mémoire tampon déterminées, le procédé comprend la détermination et l'attribution de la mémoire requise pour le traitement du modèle DNN.