VALIDATION OF ETL PIPELINE USING ASSERT DATA

A computing system is provided, which is configured to instantiate a testing environment, define an extract, transform, load (ETL) pipeline within the testing environment, generate a test data set to be inputted into the ETL pipeline, generate assert data predicting an output of the ETL pipeline bas...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: DOSHI, Rushabh Anilkumar, DROLLINGER, Robert Aron, GETTY, Kyle Kraeger
Format: Patent
Sprache:eng ; fre
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:A computing system is provided, which is configured to instantiate a testing environment, define an extract, transform, load (ETL) pipeline within the testing environment, generate a test data set to be inputted into the ETL pipeline, generate assert data predicting an output of the ETL pipeline based on the generated test data set, input the test data set into the ETL pipeline to generate output data, compare the assert data to the output data, and validate the output data using the assert data to generate validation data. L'invention concerne un système informatique qui est prévu, qui est configuré pour instancier un environnement de test, définir un pipeline d'extrait, de transformée, de charge (ETL) dans l'environnement de test, générer un ensemble de données de test à entrer dans le pipeline ETL, générer des données d'affirmation prédisant une sortie du pipeline ETL sur la base de l'ensemble de données de test généré, entrer l'ensemble de données de test dans le pipeline ETL pour générer des données de sortie, comparer les données d'affirmation aux données de sortie, et valider les données de sortie à l'aide des données d'affirmation pour générer des données de validation.