TRANSFORMER-BASED AUTOREGRESSIVE LANGUAGE MODEL SELECTION

Generally discussed herein are devices, systems, and methods for improving architecture search and identification with constraints. A method can include receiving, at a compute device, a request for a transformer-based autoregressive language model (TBALM), the request specifying a maximum latency, identifying TBALM architectures that satisfies the maximum latency, identifying a TBALM architecture of the identified TBALM architectures that has a greatest number of decoder parameters resulting in an identified TBALM architecture, and providing the identified TBALM architecture. L'invention concerne des dispositifs, systèmes et procédés permettant d'améliorer la recherche et l'identification d'architectures avec des contraintes. Un procédé peut consister : à recevoir, au niveau d'un dispositif informatique, une demande concernant un modèle de langage autorégressif fait appel à un transformateur (TBALM), la demande spécifiant une latence maximale ; à identifier des architectures TBALM qui satisfont la latence maximale ; à identifier une architecture TBALM parmi les architectures TBALM identifiées qui a un plus grand nombre de paramètres de décodeur conduisant à une architecture TBALM identifiée ; et à fournir l'architecture TBALM identifiée.