SELF-OPTIMIZING LABELING PLATFORM

Systems, methods and products for optimization of a machine learning labeler. In one method, labeling requests are received and corresponding label inferences are generated using a champion model. A portion of the labeling requests and corresponding inferences is selected for use as training data, and labels are generated for the selected requests, thereby producing corresponding augmented results. A first portion of the augmented results are provided as training data to an experiment coordinator, which then trains one or more challenger models using these augmented results. A second portion of the augmented results is provided as evaluation data to a model evaluator, which evaluates the performance of the challenger models and the champion model. If one of the challenger models has higher performance than the champion model, the model evaluator promotes the challenger model to replace the champion model. Systèmes, procédés et produits pour l'optimisation d'une étiqueteuse à apprentissage automatique. Dans un procédé, des demandes d'étiquetage sont reçues et des inférences d'étiquettes correspondantes sont générées à l'aide d'un modèle champion. Une partie des demandes d'étiquetage et des inférences correspondantes est sélectionnée pour être utilisée en tant que données d'entraînement, et des étiquettes sont générées pour les demandes sélectionnées, produisant ainsi des résultats augmentés correspondants. Une première partie des résultats augmentés est fournie en tant que données d'entraînement à un coordinateur d'expérience, qui entraîne ensuite un ou plusieurs modèles de compétiteur à l'aide desdits résultats augmentés. Une seconde partie des résultats augmentés est fournie en tant que données d'évaluation à un évaluateur de modèle, qui évalue les performances des modèles de compétiteur et du modèle de champion. Si l'un des modèles de compétiteur a une performance supérieure à celle du modèle de champion, l'évaluateur de modèle favorise le modèle de compétiteur pour remplacer le modèle de champion.