Predictive Modeling in Marketing: Ensemble Methods for Response Modeling

Ensemble methods have received a great deal of attention in the past years in several disciplines. One reason for their popularity is their ability to model complex relationships in large volumes of data, providing performance improvements compared to traditional methods. In this article, we implement and assess ensemble methods’ performance on a critical predictive modeling problem in marketing: predicting cross-buying behavior. The best performing model, a random forest, manages to identify 73.3 % of the cross-buyers in the holdout data while maintaining an accuracy of 72.5 %. Despite its superior performance, researchers and practitioners frequently mention the difficulty in interpreting a random forest model’s results as a substantial barrier to its implementation. We address this problem by demonstrating the usage of interpretability methods to: (i) outline the most influential variables in the model; (ii) investigate the average size and direction of their marginal effects; (iii) investigate the heterogeneity of their marginal effects; and (iv) understand predictions for individual customers. This approach enables researchers and practitioners to leverage the superior performance of ensemble methods to support data-driven decisions without sacrificing the interpretability of their results. Ensemble-Methoden haben in vielen Disziplinen große Popularität erlangt. Sie zeichnen sich durch ihre Fähigkeit aus, komplexe Beziehungen in großen Datenmengen zu modellieren. Dies führt typischerweise dazu, dass sie im Vergleich zu herkömmlichen Methoden genauere Prognosen erzielen. Dieser Beitrag implementiert Ensemble-Methoden und bewertet ihre Prognosefähigkeit in Bezug auf eine wichtige Marketingfragestellung: die Vorhersage der Kundennachfrage nach zusätzlichen Produkten („Cross-Buying“). Das Modell mit der besten Prognoseleistung, ein „Random-Forest“, identifiziert 73,3% der Cross-Buyer in den Holdout-Daten und erreicht eine Genauigkeit von 72,5%. Trotz seiner überlegenen Prognoseleistung stellen seine schwer interpretierbaren Ergebnisse noch eine hohe Hürde für seine Einführung in die Marketingforschung und Marketingpraxis dar. Um dies anzugehen, verwenden wir Interpretierbarkeitsmethoden um: (i) die einflussreichsten Variablen im Modell darzustellen; (ii) die durchschnittliche Größe und Richtung dieser Effekte zu visualisieren; (iii) die Heterogenität dieser Effekte zu untersuchen; und (iv) die Vorhersagen für einzelne Kunden zu verstehen. Dieser Ansatz er