DISTRIBUTED STORAGE SYSTEM DATA MANAGEMENT AND SECURITY

A system and method for distributing data over a plurality of remote storage nodes. Data are split into segments and each segment is encoded into a number of codeword chunks. None of the codeword chunks contains any of the segments. Each codeword chunk is packaged with at least one encoding parameter and identifier, and metadata are generated for at least one file and for related segments of the at least one file. The metadata contains information to reconstruct from the segments, and information for reconstructing from corresponding packages. Further, metadata are encoded into package(s), and correspond to a respective security level and a protection against storage node failure. A plurality of packages are assigned to remote storage nodes to optimize workload distribution. Each package is transmitted to at least one respective storage node as a function iteratively accessing and retrieving the packages of metadata and file data. L'invention concerne un système et un procédé de répartition de données sur une pluralité de nœuds de stockage distants. Les données sont scindées en segments et chaque segment est encodé en un certain nombre de fragments de mot de code. Aucun des fragments de mot de code ne contient l'un quelconque des segments. Chaque fragment de mot de code est conditionné avec au moins un paramètre d'encodage et un identifiant, et des métadonnées sont générées pour au moins un fichier et pour des segments associés du ou des fichiers. Les métadonnées contiennent des informations à reconstruire à partir des segments, et des informations pour une reconstruction à partir de paquets correspondants. En outre, des métadonnées sont encodées dans un ou plusieurs paquets, et correspondent à un niveau de sécurité respectif et à une protection contre une défaillance de nœud de stockage. Une pluralité de paquets sont attribués à des nœuds de stockage distants pour optimiser la répartition de la charge de travail. Chaque paquet est transmis à au moins un nœud de stockage respectif en tant que fonction qui, de manière itérative, accède aux paquets de métadonnées et de données de fichier et les récupère.