CONFIGURABLE NONLINEAR ACTIVATION FUNCTION CIRCUITS

Certain aspects of the present disclosure provide a processor, comprising: a configurable nonlinear activation function circuit configured to: determine, based on a selected nonlinear activation function, a set of parameters for the nonlinear activation function; and generate output data based on application of the set of parameters for the nonlinear activation function, wherein: the configurable nonlinear activation function circuit comprises at least one nonlinear approximator comprising at least two successive linear approximators, and each linear approximator of the at least two successive linear approximators is configured to approximate a linear function using one or more function parameters of the set of parameters. Certains aspects de la présente divulgation concernent un processeur, comprenant : un circuit de fonction d'activation non linéaire configurable configuré pour : déterminer, sur la base d'une fonction d'activation non linéaire sélectionnée, un ensemble de paramètres pour la fonction d'activation non linéaire ; et générer des données de sortie sur la base de l'application de l'ensemble de paramètres pour la fonction d'activation non linéaire. Le circuit de fonction d'activation non linéaire configurable comprend au moins un approximateur non linéaire comprenant au moins deux approximateurs linéaires successifs, et chaque approximateur linéaire desdits au moins deux approximateurs linéaires successifs est configuré pour approximer une fonction linéaire en utilisant un ou plusieurs paramètres de fonction de l'ensemble de paramètres.