CONFIGURABLE NONLINEAR ACTIVATION FUNCTION CIRCUITS

Certain aspects of the present disclosure provide a method for processing input data by a set of configurable nonlinear activation function circuits, including generating an exponent output by processing input data using one or more first configurable nonlinear activation function circuits configured to perform an exponential function, summing the exponent output of the one or more first configurable nonlinear activation function circuits, and generating an approximated log softmax output by processing the summed exponent output using a second configurable nonlinear activation function circuit configured to perform a natural logarithm function. Selon certains aspects, la présente divulgation concerne un procédé de traitement de données d'entrée par un ensemble de circuits de fonction d'activation non linéaire configurables, consistant à générer une sortie d'exposant par traitement de données d'entrée à l'aide d'un ou de plusieurs premiers circuits de fonction d'activation non linéaire configurables configurés pour effectuer une fonction exponentielle, à additionner la sortie d'exposant du ou des premiers circuits de fonction d'activation non linéaire configurables, et à générer une sortie softmax logarithmique approximative par traitement de la sortie d'exposant additionnée à l'aide d'un second circuit de fonction d'activation non linéaire configurable configuré pour effectuer une fonction logarithmique naturelle.