Variable selection in additive models via hierarchical sparse penalty

As a popular tool for nonlinear models, additive models work efficiently with nonparametric estimation. However, naively applying the existing regularization method can result in misleading outcomes because of the basis sparsity in each variable. In this article, we consider variable selection in additive models via a combination of variable selection and basis selection, yielding a joint selection of variables and basis functions. A novel penalty function is proposed for basis selection to address the hierarchical structure as well as the sparsity assumption. Under some mild conditions, we establish theoretical properties including the support recovery consistency. We also derive the necessary and sufficient conditions for the estimator and develop an efficient algorithm based on it. Our new methodology and results are supported by simulation and real data examples. Résumé Les modèles additifs sont très populaires en modélisation non linéaire et sont très performants lorsque combinés à l'estimation non paramétrique. Cela dit, une application naïve de la méthode de régularisation retenue peut induire en erreur, et ce en raison de la parcimonie de la base associée à chaque variable du modèle. C'est dans ce cadre que les auteurs de ce travail se sont intéressés à la sélection de variables en adoptant une sélection conjointe des variables et des fonctions de la base. À cette fin, ils proposent une nouvelle fonction de pénalité qui tient compte de la structure hiérarchique et du postulat de parcimonie lors de la sélection de la base. Sous de faibles conditions de régularité, ils établissent quelques résultats théoriques dont la reconstruction asymptotique du support. Ils fournissent également les conditions nécessaires et suffisantes pour l'estimateur et s'en servent pour développer un algorithme efficace. Finalement, ils utilisent des simulations et des exemples de données réelles pour étayer leurs résultats et l'approche proposée.