Weighted Bayesian bootstrap for scalable posterior distributions

We introduce and develop a weighted Bayesian bootstrap (WBB) for machine learning and statistics. WBB provides uncertainty quantification by sampling from a high dimensional posterior distribution. WBB is computationally fast and scalable using only off-the-shelf optimization software. First-order asymptotic analysis provides a theoretical justification under suitable regularity conditions on the statistical model. We illustrate the proposed methodology in regularized regression, trend filtering and deep learning and conclude with directions for future research. Les auteurs développent un bootstrap pondéré bayésien (BPB) pour l’apprentissage machine et la statistique. Le BPB offre une quantification de l’incertitude en échantillonnant à partir d’une loi a posteriori en haute dimension. Il est rapide à calculer et peut être mis à l’échelle en utilisant uniquement des logiciels d’optimisation prêts à l’emploi. Les auteurs justifient la méthode théoriquement à l’aide d’une analyse asymptotique du premier ordre sous des conditions de régularité du modèle statistique. Ils illustrent la méthodologie proposée avec des modèles de régression régularisée, de filtrage des tendances, et d’apprentissage profond. Ils concluent par des pistes de recherche.