PERSISTENT SHUFFLE SYSTEM

A method includes receiving a request to perform a shuffle operation on a data stream; receiving at least a portion of the data stream including a plurality of records, each including a key; storing each of the plurality of records in a persistent storage location assigned to a key range corresponding to keys included in the plurality of records; receiving a request from a consumer for a subset of the plurality of records including a range of keys; and upon receiving the request from the consumer, providing the subset of the plurality of records including the range of keys from the one or more persistent storage locations. L'invention concerne un procédé qui comprend la réception d'une demande consistant à effectuer une opération de mélange sur un flux de données ; la réception d'au moins une partie du flux de données comprenant une pluralité d'enregistrements, chacun comprenant une clé ; l'enregistrement de chaque enregistrement parmi la pluralité d'enregistrements dans un lieu d'enregistrement permanent attribué à un groupe de clés correspondant aux clés comprises dans la pluralité d'enregistrements ; la réception d'une demande du client pour un sous-ensemble de la pluralité d'enregistrements comprenant un groupe de clés ; et, à la réception de la demande du client, l'apport du sous-ensemble de la pluralité d'enregistrements comprenant le groupe de clés provenant du ou des emplacements d'enregistrement permanent.