HETEROGENEOUS DATA PLATFORM

In examples, streaming data is received from a data source (e.g., by an edge device associated with a data platform) and is queued and aggregated. Batch data may similarly be received from a data source. The batch data and the aggregated streaming data may be processed to generate metadata accordingly. The data and metadata may be provided to the data platform, where the metadata may be used to update an index and the data may be stored in association with the index. In some instances, the data may be stored in chunks to facilitate subsequent retrieval of the data. In response to a request for the data, the index may be used to identify relevant data, which may include data associated with batch and/or streaming data formats, thereby enabling the client device to access data having any of a variety of formats from the data platform. Dans des exemples, des données de diffusion en continu sont reçues en provenance d'une source de données (par exemple, par un dispositif périphérique associé à une plate-forme de données) et sont mises en file d'attente et agrégées. Des données de lots peuvent être reçues de manière similaire en provenance d'une source de données. Les données de lot et les données de diffusion en continu agrégées peuvent être traitées pour générer des métadonnées en conséquence. Les données et les métadonnées peuvent être fournies à la plate-forme de données, les métadonnées pouvant être utilisées pour mettre à jour un index et les données peuvent être stockées en association avec l'index. Dans certains cas, les données peuvent être stockées en blocs pour faciliter la récupération ultérieure des données. En réponse à une demande de données, l'index peut être utilisé pour identifier des données pertinentes, qui peuvent comprendre des données associées à des formats de données de lot et/ou de diffusion en continu, ce qui permet au dispositif client d'accéder à des données ayant l'un quelconque d'une variété de formats à partir de la plate-forme de données.