EXPLAINING MACHINE LEARNING OUTPUT IN INDUSTRIAL APPLICATIONS

There is provided an explainer system (100) for explaining output of a prediction system (10). The prediction system (10) comprises a system-monitor machine learning model (16) trained to predict states of a monitored system (12). The explainer system comprises a perturbator (102) configured to apply predetermined perturbations to original sample data (120, 122) collected from the monitored system (12) to produce perturbed sample data (108, 130), the explainer system being configured to input the perturbed sample data (108, 130) to the prediction system (10). The explainer system further comprises a tester (104) configured to receive model output from the prediction system (10), the model output comprising original model output (110) produced by the system-monitor machine learning model (16) based on the original sample data (120, 122) and deviated model output (126) produced by the system-monitor machine learning model (16) based on the perturbed sample data (108, 130), the deviated model output (126) comprising deviations from the original model output (110), the deviations resulting from the applied perturbations. The explainer system further comprises an extractor (106) configured to receive data (128) defining the perturbations and the resulting deviations and to extract therefrom important features (124) for explaining the model output. L'invention concerne un système d'explication (100) conçu pour expliquer une sortie d'un système de prédiction (10). Le système de prédiction (10) comprend un modèle d'apprentissage machine de surveillance de système (16) formé pour prédire des états d'un système surveillé (12). Le système d'explication comprend un perturbateur (102) configuré pour appliquer des perturbations prédéterminées à des données d'échantillon d'origine (120, 122) collectées à partir du système surveillé (12) de façon à produire des données d'échantillon perturbées (108, 130). Le système d'explication est configuré pour entrer les données d'échantillon perturbées (108, 130) dans le système de prédiction (10). Le système d'explication comprend également un testeur (104) configuré pour recevoir une sortie de modèle provenant du système de prédiction (10). La sortie de modèle comprend une sortie de modèle d'origine (110) produite par le modèle d'apprentissage machine de surveillance de système (16) sur la base des données d'échantillon d'origine (120, 122), ainsi qu'une sortie de modèle divergente (126) produite par le modèle d'apprentissage mach