Improving Stochastic Cubic Newton with Momentum

We study stochastic second-order methods for solving general non-convex optimization problems. We propose using a special version of momentum to stabilize the stochastic gradient and Hessian estimates in Newton's method. We show that momentum provably improves the variance of stochastic estimat...

Ausführliche Beschreibung

Bibliographische Detailangaben

Veröffentlicht in:	arXiv.org 2024-10
Hauptverfasser:	El Mahdi Chayti, Doikov, Nikita, Jaggi, Martin
Format:	Artikel
Sprache:	eng
Schlagworte:	Convergence Convexity Estimates Momentum Newton methods Noise levels Regularization
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!