Implicit variance regularization in non-contrastive SSL

Non-contrastive SSL methods like BYOL and SimSiam rely on asymmetric predictor networks to avoid representational collapse without negative samples. Yet, how predictor networks facilitate stable learning is not fully understood. While previous theoretical analyses assumed Euclidean losses, most prac...

Ausführliche Beschreibung

Bibliographische Detailangaben

Veröffentlicht in:	arXiv.org 2023-10
Hauptverfasser:	Manu Srinath Halvagal, Laborieux, Axel, Zenke, Friedemann
Format:	Artikel
Sprache:	eng
Schlagworte:	Covariance matrix Eigenvalues Mathematical analysis Networks Regularization Supervised learning Variance
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!