DE-DUPLICATION

A method and apparatus for data de-duplication is disclosed. The de-duplication engine (DDE) divides data into regions. The DDE processes the regions in a serial fashion. The DDE clears its hash table before processing the first region. Each region is divided into a number of chunks. A hash is generated for each chunk in a region. When a hash for a chunk is not in a hash table, the hash is stored in the hash table and the chunk is stored on media. When the hash is a duplicate of a hash already in the table, the hash and chunk are discarded and a reference to the previously stored chunk is stored to the media. The DDE does not retain all the hashes from all the regions in the hash table at the same time. The DDE only retains the hashes for the current region being processed and N previous regions where N is a positive integer greater than zero. La présente invention concerne un procédé et un dispositif de déduplication de données. Le moteur de déduplication (DDE) divise les données en régions. Le DDE traite les régions en mode série. Le DDE efface sa table de hachage avant de traiter la première région. Chaque région est divisée en un certain nombre de blocs. Un hachage est généré pour chaque bloc dans une région. Quand un hachage pour un bloc ne se trouve pas dans une table de hachage, le hachage est stocké dans la table de hachage, et le bloc est stocké sur un support. Lorsque le hachage est une copie d'un hachage déjà présent dans la table, le hachage et le bloc sont écartés et une référence au bloc précédemment stocké est stockée sur le support. Le DDE ne conserve pas tous les hachages de toutes les régions dans la table de hachage en même temps. Le DDE ne conserve que les hachages pour la région en cours de traitement et N régions précédentes où N est un entier positif supérieur à zéro.