AUTO-SCALING HOSTED MACHINE LEARNING MODELS FOR PRODUCTION INFERENCE

Techniques for auto-scaling hosted machine learning models for production inference are described. A machine learning model can be deployed in a hosted environment such that the infrastructure supporting the machine learning model scales dynamically with demand so that performance is not impacted. The model can be auto-scaled using reactive techniques or predictive techniques. L'invention concerne des techniques de mise à l'échelle automatique de modèles d'apprentissage automatique hébergés pour l'inférence de production. Un modèle d'apprentissage automatique peut être déployé dans un environnement hébergé de sorte que l'infrastructure prenant en charge le modèle d'apprentissage automatique s'adapte dynamiquement à la demande de façon à ne pas affecter la performance. Le modèle peut être mis à l'échelle automatiquement grâce à des techniques réactives ou des techniques prédictives.