SEGMENT COMBINING FOR DEDUPLICATION

A non-transitory computer-readable storage device includes instructions that, when executed, cause one or more processors to receive a sequence of hashes. Next, the one or more processors are further caused to determine locations of previously stored copies of a subset of the data chunks corresponding to the hashes. The one or more processors are further caused to group hashes and corresponding data chunks into segments based in part on the determined information. The one or more processors are caused to choose, for each segment, a store to deduplicate that segment against. Finally, the one or more processors are further caused to combine two or more segments chosen to be deduplicated against the same store and deduplicate them as a whole using a second index. L'invention porte sur un dispositif de stockage lisible par ordinateur, non transitoire, qui contient des instructions qui amènent, lorsqu'elles sont exécutées, un ou plusieurs processeurs à recevoir une séquence de valeurs de hachage. Ensuite, le ou les processeurs sont en outre amenés à déterminer des emplacements de copies précédemment stockées d'un sous-ensemble des blocs de données correspondant aux valeurs de hachage. Le ou les processeurs sont de plus amenés à regrouper des valeurs de hachage et des blocs de données correspondant en segments en partie sur la base des informations déterminées. Le ou les processeurs sont amenés à choisir, pour chaque segment, une mémoire contre laquelle ce segment doit subir une déduplication. Enfin, le ou les processeurs sont amenés à combiner les segments choisis pour subir la déduplication contre la même mémoire et à leur faire subir la déduplication comme un tout à l'aide d'un second index.