SYSTEMS AND METHODS FOR ALGORITHM PERFORMANCE FEEDBACK IN A ZERO-TRUST ENVIRONMENT

Systems and methods for providing algorithm performance feedback to an algorithm developer is provided In some embodiments, an algorithm and a data set are receiving within a secure computing node. The data set is processed using the algorithm to generate an algorithm output. A raw performance model...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: ROGERS, Robert, CHALK, Mary, CZESZYNSKI, Alan
Format: Patent
Sprache:eng ; fre
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:Systems and methods for providing algorithm performance feedback to an algorithm developer is provided In some embodiments, an algorithm and a data set are receiving within a secure computing node. The data set is processed using the algorithm to generate an algorithm output. A raw performance model is generated by regression modeling the algorithm output. The raw performance model is then smoothed to generate a final performance model, which is then encrypted and routed to an algorithm developer for further analysis. The performance model models at least one of the algorithm's accuracy, F1 score accuracy, precision, recall, dice score, ROC (receiver operator characteristic) curve/area, log loss, Jaccard index, error, R2 or by some combination thereof. The regression modeling includes linear least squares, logistic regression, deep learning or some combination thereof. Des systèmes et des procédés pour fournir une rétroaction de performance d'algorithme à un développeur d'algorithme sont fournis. Dans certains modes de réalisation, un algorithme et un ensemble de données sont reçus à l'intérieur d'un noeud informatique sécurisé. L'ensemble de données est traité à l'aide de l'algorithme pour générer une sortie d'algorithme. Un modèle de performance brute est généré par modélisation de régression de la sortie d'algorithme. Le modèle de performance brute est ensuite lissé pour générer un modèle de performance final, qui est ensuite chiffré et acheminé vers un développeur d'algorithme pour une analyse ultérieure. Le modèle de performance modélise au moins l'une de la précision de l'algorithme, la précision de score F1, la précision, le rappel, le score de dés, la courbe/zone ROC (caractéristique d'opérateur de récepteur), la perte de journal, l'indice de Jaccard, l'erreur, R2 ou par une certaine combinaison de ceux-ci. La modélisation de régression comprend les moindres carrés linéaires, une régression logistique, un apprentissage profond ou une certaine combinaison de ceux-ci.