DYNAMIC WORKLOAD TUNING

Techniques are provided for dynamic workload tuning of a data pipeline that includes a plurality of stages, each associated with a respective storage element, a storage element monitor, and a resource manager. In one embodiment, the techniques involve the storage element monitor determining a utilization of a storage element associated with a first stage of the plurality of stages, comparing the utilization of the storage element to a first threshold, generating a signal based on the comparison of the storage element to the first threshold, output the signal; and the resource manager receiving the signal, determining that the signal indicates an increase or decrease of resources for the first stage, and adjusting compute resources for the first stage based on the signal in order to effect a change in the utilization of the storage element. L'invention concerne des techniques de réglage dynamique de la charge de travail d'un pipeline de données qui comprend une pluralité d'étages associés chacun à un élément de stockage respectif, un dispositif de surveillance d'élément de stockage et un gestionnaire de ressources. Dans un mode de réalisation, les techniques consistent en ce que le dispositif de surveillance d'élément de stockage détermine une utilisation d'un élément de stockage associé à un premier étage de la pluralité d'étages, compare l'utilisation de l'élément de stockage à un premier seuil, génère un signal sur la base de la comparaison de l'élément de stockage au premier seuil, et délivre le signal ; et en ce que le gestionnaire de ressources reçoit le signal, détermine que le signal indique une augmentation ou une diminution de ressources pour le premier étage, et ajuste des ressources de calcul pour le premier étage sur la base du signal afin d'effectuer un changement dans l'utilisation de l'élément de stockage.