SCHEDULING OFF-CHIP MEMORY ACCESS FOR PROGRAMS WITH PREDICTABLE EXECUTION

A machine learning network is implemented by executing a computer program of instructions on a machine learning accelerator (MLA) comprising a plurality of interconnected storage elements (SEs) and processing elements (PEs). The instructions are partitioned into blocks, which are retrieved from off-...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: KOTLER, Reed, KALARI, Subba
Format: Patent
Sprache:eng ; fre
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
container_end_page
container_issue
container_start_page
container_title
container_volume
creator KOTLER, Reed
KALARI, Subba
description A machine learning network is implemented by executing a computer program of instructions on a machine learning accelerator (MLA) comprising a plurality of interconnected storage elements (SEs) and processing elements (PEs). The instructions are partitioned into blocks, which are retrieved from off-chip memory. The block includes a set of deterministic instructions (MLA instructions) to be executed by on-chip storage elements and/or processing elements according to a static schedule from a compiler. The MLA instructions may require data retrieved from off-chip memory by memory access instructions contained in prior blocks. The compiler also schedules the memory access instructions in a manner that avoids contention for access to the off-chip memory. By avoiding contention, the execution time of off-chip memory accesses becomes predictable enough and short enough that the memory access instructions may be scheduled so that they are known to complete before the retrieved data is required. Réseau d'apprentissage machine mis en œuvre par l'exécution d'un programme informatique d'instructions sur un accélérateur d'apprentissage machine (AAM) comprenant une pluralité d'éléments de stockage (ES) interconnectés et d'éléments de traitement (ET). Les instructions sont partitionnées en blocs extraits de la mémoire hors puce. Le bloc comprend un ensemble d'instructions déterministes (instructions d'AAM) devant être exécutées par des éléments de stockage sur puce et/ou des éléments de traitement en fonction d'un programme statique provenant d'un compilateur. Les instructions d'AAM peuvent nécessiter des données extraites de la mémoire hors puce par des instructions d'accès à la mémoire contenues dans des blocs antérieurs. Le compilateur programme également les instructions d'accès à la mémoire d'une manière qui évite les conflits d'accès à la mémoire hors puce. En évitant les conflits, le temps d'exécution des accès à la mémoire hors puce devient suffisamment prévisible et suffisamment court pour que les instructions d'accès à la mémoire puissent être programmées de telle sorte qu'elles sont connues pour se terminer avant que les données récupérées ne soient nécessaires.
format Patent
fullrecord <record><control><sourceid>epo_EVB</sourceid><recordid>TN_cdi_epo_espacenet_WO2022133060A1</recordid><sourceformat>XML</sourceformat><sourcesystem>PC</sourcesystem><sourcerecordid>WO2022133060A1</sourcerecordid><originalsourceid>FETCH-epo_espacenet_WO2022133060A13</originalsourceid><addsrcrecordid>eNrjZPAMdvZwdQn18fRzV_B3c9N19vAMUPB19fUPilRwdHZ2DQ5WcPMPUggI8ncPcvQNVgj3DPEA8lxdPJ1DHJ18XBVcI1ydQ0M8_f14GFjTEnOKU3mhNDeDsptriLOHbmpBfnxqcUFicmpeakl8uL-RgZGRobGxgZmBo6ExcaoA6G8uBA</addsrcrecordid><sourcetype>Open Access Repository</sourcetype><iscdi>true</iscdi><recordtype>patent</recordtype></control><display><type>patent</type><title>SCHEDULING OFF-CHIP MEMORY ACCESS FOR PROGRAMS WITH PREDICTABLE EXECUTION</title><source>esp@cenet</source><creator>KOTLER, Reed ; KALARI, Subba</creator><creatorcontrib>KOTLER, Reed ; KALARI, Subba</creatorcontrib><description>A machine learning network is implemented by executing a computer program of instructions on a machine learning accelerator (MLA) comprising a plurality of interconnected storage elements (SEs) and processing elements (PEs). The instructions are partitioned into blocks, which are retrieved from off-chip memory. The block includes a set of deterministic instructions (MLA instructions) to be executed by on-chip storage elements and/or processing elements according to a static schedule from a compiler. The MLA instructions may require data retrieved from off-chip memory by memory access instructions contained in prior blocks. The compiler also schedules the memory access instructions in a manner that avoids contention for access to the off-chip memory. By avoiding contention, the execution time of off-chip memory accesses becomes predictable enough and short enough that the memory access instructions may be scheduled so that they are known to complete before the retrieved data is required. Réseau d'apprentissage machine mis en œuvre par l'exécution d'un programme informatique d'instructions sur un accélérateur d'apprentissage machine (AAM) comprenant une pluralité d'éléments de stockage (ES) interconnectés et d'éléments de traitement (ET). Les instructions sont partitionnées en blocs extraits de la mémoire hors puce. Le bloc comprend un ensemble d'instructions déterministes (instructions d'AAM) devant être exécutées par des éléments de stockage sur puce et/ou des éléments de traitement en fonction d'un programme statique provenant d'un compilateur. Les instructions d'AAM peuvent nécessiter des données extraites de la mémoire hors puce par des instructions d'accès à la mémoire contenues dans des blocs antérieurs. Le compilateur programme également les instructions d'accès à la mémoire d'une manière qui évite les conflits d'accès à la mémoire hors puce. En évitant les conflits, le temps d'exécution des accès à la mémoire hors puce devient suffisamment prévisible et suffisamment court pour que les instructions d'accès à la mémoire puissent être programmées de telle sorte qu'elles sont connues pour se terminer avant que les données récupérées ne soient nécessaires.</description><language>eng ; fre</language><subject>CALCULATING ; COMPUTING ; COUNTING ; ELECTRIC DIGITAL DATA PROCESSING ; PHYSICS</subject><creationdate>2022</creationdate><oa>free_for_read</oa><woscitedreferencessubscribed>false</woscitedreferencessubscribed></display><links><openurl>$$Topenurl_article</openurl><openurlfulltext>$$Topenurlfull_article</openurlfulltext><thumbnail>$$Tsyndetics_thumb_exl</thumbnail><linktohtml>$$Uhttps://worldwide.espacenet.com/publicationDetails/biblio?FT=D&amp;date=20220623&amp;DB=EPODOC&amp;CC=WO&amp;NR=2022133060A1$$EHTML$$P50$$Gepo$$Hfree_for_read</linktohtml><link.rule.ids>230,308,780,885,25564,76547</link.rule.ids><linktorsrc>$$Uhttps://worldwide.espacenet.com/publicationDetails/biblio?FT=D&amp;date=20220623&amp;DB=EPODOC&amp;CC=WO&amp;NR=2022133060A1$$EView_record_in_European_Patent_Office$$FView_record_in_$$GEuropean_Patent_Office$$Hfree_for_read</linktorsrc></links><search><creatorcontrib>KOTLER, Reed</creatorcontrib><creatorcontrib>KALARI, Subba</creatorcontrib><title>SCHEDULING OFF-CHIP MEMORY ACCESS FOR PROGRAMS WITH PREDICTABLE EXECUTION</title><description>A machine learning network is implemented by executing a computer program of instructions on a machine learning accelerator (MLA) comprising a plurality of interconnected storage elements (SEs) and processing elements (PEs). The instructions are partitioned into blocks, which are retrieved from off-chip memory. The block includes a set of deterministic instructions (MLA instructions) to be executed by on-chip storage elements and/or processing elements according to a static schedule from a compiler. The MLA instructions may require data retrieved from off-chip memory by memory access instructions contained in prior blocks. The compiler also schedules the memory access instructions in a manner that avoids contention for access to the off-chip memory. By avoiding contention, the execution time of off-chip memory accesses becomes predictable enough and short enough that the memory access instructions may be scheduled so that they are known to complete before the retrieved data is required. Réseau d'apprentissage machine mis en œuvre par l'exécution d'un programme informatique d'instructions sur un accélérateur d'apprentissage machine (AAM) comprenant une pluralité d'éléments de stockage (ES) interconnectés et d'éléments de traitement (ET). Les instructions sont partitionnées en blocs extraits de la mémoire hors puce. Le bloc comprend un ensemble d'instructions déterministes (instructions d'AAM) devant être exécutées par des éléments de stockage sur puce et/ou des éléments de traitement en fonction d'un programme statique provenant d'un compilateur. Les instructions d'AAM peuvent nécessiter des données extraites de la mémoire hors puce par des instructions d'accès à la mémoire contenues dans des blocs antérieurs. Le compilateur programme également les instructions d'accès à la mémoire d'une manière qui évite les conflits d'accès à la mémoire hors puce. En évitant les conflits, le temps d'exécution des accès à la mémoire hors puce devient suffisamment prévisible et suffisamment court pour que les instructions d'accès à la mémoire puissent être programmées de telle sorte qu'elles sont connues pour se terminer avant que les données récupérées ne soient nécessaires.</description><subject>CALCULATING</subject><subject>COMPUTING</subject><subject>COUNTING</subject><subject>ELECTRIC DIGITAL DATA PROCESSING</subject><subject>PHYSICS</subject><fulltext>true</fulltext><rsrctype>patent</rsrctype><creationdate>2022</creationdate><recordtype>patent</recordtype><sourceid>EVB</sourceid><recordid>eNrjZPAMdvZwdQn18fRzV_B3c9N19vAMUPB19fUPilRwdHZ2DQ5WcPMPUggI8ncPcvQNVgj3DPEA8lxdPJ1DHJ18XBVcI1ydQ0M8_f14GFjTEnOKU3mhNDeDsptriLOHbmpBfnxqcUFicmpeakl8uL-RgZGRobGxgZmBo6ExcaoA6G8uBA</recordid><startdate>20220623</startdate><enddate>20220623</enddate><creator>KOTLER, Reed</creator><creator>KALARI, Subba</creator><scope>EVB</scope></search><sort><creationdate>20220623</creationdate><title>SCHEDULING OFF-CHIP MEMORY ACCESS FOR PROGRAMS WITH PREDICTABLE EXECUTION</title><author>KOTLER, Reed ; KALARI, Subba</author></sort><facets><frbrtype>5</frbrtype><frbrgroupid>cdi_FETCH-epo_espacenet_WO2022133060A13</frbrgroupid><rsrctype>patents</rsrctype><prefilter>patents</prefilter><language>eng ; fre</language><creationdate>2022</creationdate><topic>CALCULATING</topic><topic>COMPUTING</topic><topic>COUNTING</topic><topic>ELECTRIC DIGITAL DATA PROCESSING</topic><topic>PHYSICS</topic><toplevel>online_resources</toplevel><creatorcontrib>KOTLER, Reed</creatorcontrib><creatorcontrib>KALARI, Subba</creatorcontrib><collection>esp@cenet</collection></facets><delivery><delcategory>Remote Search Resource</delcategory><fulltext>fulltext_linktorsrc</fulltext></delivery><addata><au>KOTLER, Reed</au><au>KALARI, Subba</au><format>patent</format><genre>patent</genre><ristype>GEN</ristype><title>SCHEDULING OFF-CHIP MEMORY ACCESS FOR PROGRAMS WITH PREDICTABLE EXECUTION</title><date>2022-06-23</date><risdate>2022</risdate><abstract>A machine learning network is implemented by executing a computer program of instructions on a machine learning accelerator (MLA) comprising a plurality of interconnected storage elements (SEs) and processing elements (PEs). The instructions are partitioned into blocks, which are retrieved from off-chip memory. The block includes a set of deterministic instructions (MLA instructions) to be executed by on-chip storage elements and/or processing elements according to a static schedule from a compiler. The MLA instructions may require data retrieved from off-chip memory by memory access instructions contained in prior blocks. The compiler also schedules the memory access instructions in a manner that avoids contention for access to the off-chip memory. By avoiding contention, the execution time of off-chip memory accesses becomes predictable enough and short enough that the memory access instructions may be scheduled so that they are known to complete before the retrieved data is required. Réseau d'apprentissage machine mis en œuvre par l'exécution d'un programme informatique d'instructions sur un accélérateur d'apprentissage machine (AAM) comprenant une pluralité d'éléments de stockage (ES) interconnectés et d'éléments de traitement (ET). Les instructions sont partitionnées en blocs extraits de la mémoire hors puce. Le bloc comprend un ensemble d'instructions déterministes (instructions d'AAM) devant être exécutées par des éléments de stockage sur puce et/ou des éléments de traitement en fonction d'un programme statique provenant d'un compilateur. Les instructions d'AAM peuvent nécessiter des données extraites de la mémoire hors puce par des instructions d'accès à la mémoire contenues dans des blocs antérieurs. Le compilateur programme également les instructions d'accès à la mémoire d'une manière qui évite les conflits d'accès à la mémoire hors puce. En évitant les conflits, le temps d'exécution des accès à la mémoire hors puce devient suffisamment prévisible et suffisamment court pour que les instructions d'accès à la mémoire puissent être programmées de telle sorte qu'elles sont connues pour se terminer avant que les données récupérées ne soient nécessaires.</abstract><oa>free_for_read</oa></addata></record>
fulltext fulltext_linktorsrc
identifier
ispartof
issn
language eng ; fre
recordid cdi_epo_espacenet_WO2022133060A1
source esp@cenet
subjects CALCULATING
COMPUTING
COUNTING
ELECTRIC DIGITAL DATA PROCESSING
PHYSICS
title SCHEDULING OFF-CHIP MEMORY ACCESS FOR PROGRAMS WITH PREDICTABLE EXECUTION
url https://sfx.bib-bvb.de/sfx_tum?ctx_ver=Z39.88-2004&ctx_enc=info:ofi/enc:UTF-8&ctx_tim=2024-12-28T17%3A34%3A48IST&url_ver=Z39.88-2004&url_ctx_fmt=infofi/fmt:kev:mtx:ctx&rfr_id=info:sid/primo.exlibrisgroup.com:primo3-Article-epo_EVB&rft_val_fmt=info:ofi/fmt:kev:mtx:patent&rft.genre=patent&rft.au=KOTLER,%20Reed&rft.date=2022-06-23&rft_id=info:doi/&rft_dat=%3Cepo_EVB%3EWO2022133060A1%3C/epo_EVB%3E%3Curl%3E%3C/url%3E&disable_directlink=true&sfx.directlink=off&sfx.report_link=0&rft_id=info:oai/&rft_id=info:pmid/&rfr_iscdi=true