SYSTOLIC ARRAY HAVING SUPPORT FOR OUTPUT SPARSITY
A processing apparatus is described herein that includes a general-purpose parallel processing engine comprising a matrix accelerator including one or more systolic arrays, at least one of the one or more systolic arrays comprising multiple pipeline stages, each pipeline stage of the multiple pipeli...
Gespeichert in:
Hauptverfasser: | , , , , , , , , , , , |
---|---|
Format: | Patent |
Sprache: | eng ; fre |
Schlagworte: | |
Online-Zugang: | Volltext bestellen |
Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Zusammenfassung: | A processing apparatus is described herein that includes a general-purpose parallel processing engine comprising a matrix accelerator including one or more systolic arrays, at least one of the one or more systolic arrays comprising multiple pipeline stages, each pipeline stage of the multiple pipeline stages including multiple processing elements, the multiple processing elements configured to perform processing operations on input matrix elements based on output sparsity metadata. The output sparsity metadata indicates to the multiple processing elements to bypass multiplication for a first row of elements of a second matrix and multiply a second row of elements of the second matrix with a column of matrix elements of a first matrix.
L'invention concerne un appareil de traitement qui comprend un moteur de traitement parallèle à usage général comprenant un accélérateur matriciel comprenant un ou plusieurs réseaux systoliques, au moins l'un du ou des réseaux systoliques comprenant de multiples étages de pipeline, chaque étage de pipeline des multiples étages de pipeline comprenant de multiples éléments de traitement, les multiples éléments de traitement étant conçus pour effectuer des opérations de traitement sur des éléments de matrice d'entrée sur la base de métadonnées de dispersion de sortie. Les métadonnées de dispersion de sortie indiquent aux multiples éléments de traitement de contourner une multiplication pour une première rangée d'éléments d'une seconde matrice et de multiplier une seconde rangée d'éléments de la seconde matrice avec une colonne d'éléments matriciels d'une première matrice. |
---|