DISTRIBUTED COLUMNAR DATA SET STORAGE AND RETRIEVAL

An apparatus includes a processor to: instantiate collection threads, data buffers of a queue, and aggregation threads: within each collection thread, assemble a row group from a subset of the multiple rows, reorganize the data values row-wise to columnar organization, and store the row group within a data buffer of the queue; operate the buffer queue as a FIFO buffer; within each aggregation thread, retrieve multiple row groups from multiple data buffers of the queue, assemble a data set part from the multiple row groups, transmit, to storage device(s) via a network, the data set part; and in response to each instance of retrieval of a row group from a data buffer of the buffer queue for use within an aggregation thread, analyze a level of availability of at least storage space within the node device to determine whether to dynamically adjust the quantity of data buffers of the buffer queue. L'invention concerne un appareil comprenant un processeur pour : instancier des fils de collecte, des tampons de données d'une file d'attente et des fils d'agrégation ; à l'intérieur de chaque fil de collecte, assembler un groupe de rangées à partir d'un sous-ensemble de multiples rangées, réorganiser les valeurs de données par rangée en une organisation en colonne et stocker le groupe de rangées dans un tampon de données de la file d'attente ; faire fonctionner la file d'attente de tampon en tant que tampon FIFO ; à l'intérieur de chaque fil d'agrégation, récupérer de multiples groupes de rangées à partir de multiples tampons de données de la file d'attente, assembler une partie d'ensemble de données à partir des multiples groupes de rangées, transmettre, à un ou plusieurs dispositifs de stockage par l'intermédiaire d'un réseau, la partie d'ensemble de données ; et en réponse à chaque instance de récupération d'un groupe de rangées à partir d'un tampon de données de la file d'attente de tampon pour une utilisation dans un fil d'agrégation, analyser un niveau de disponibilité d'au moins un espace de stockage à l'intérieur du dispositif de nud pour déterminer s'il faut ajuster dynamiquement la quantité de tampons de données de la file d'attente de tampon.