Investigating Recurrent Transformers with Dynamic Halt

In this paper, we comprehensively study the inductive biases of two major approaches to augmenting Transformers with a recurrent mechanism: (1) the approach of incorporating a depth-wise recurrence similar to Universal Transformers; and (2) the approach of incorporating a chunk-wise temporal recurre...

Ausführliche Beschreibung

Bibliographische Detailangaben

Veröffentlicht in:	arXiv.org 2024-09
Hauptverfasser:	Chowdhury, Jishnu Ray, Caragea, Cornelia
Format:	Artikel
Sprache:	eng
Schlagworte:	Bias Transformers
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!