METHOD AND APPARATUS FOR DETECTING DUPLICATE MESSAGES

An approach is provided for detect duplicate messageswith multiple probabilistic data structures. A de-duplication platformcauses, at least in part, a representing of one or more messages in two or more probabilistic data structures. The de-duplication platformfurther causes, at least in part, an alternating clearing of the two or more probabilistic data structures as respective probabilistic data structures are filled with the one or more messages to respective thresholds, with the two or more probabilistic data structures facilitating determination of one or more duplicates among the one or more messages. La présente invention concerne une approche de détection de messages dupliqués au moyen de multiples structures de données probabilistes. Selon l'invention, une plate-forme de déduplication entraîne, au moins en partie, une représentation d'un ou de plusieurs messages dans au moins deux structures de données probabilistes. La plate-forme de déduplication entraîne en outre, au moins en partie, un effacement alterné desdites deux structures de données probabilistes puisque les structures de données probabilistes respectives sont remplies du ou des messages à des seuils respectifs, lesdites deux structures de données probabilistes facilitant la détermination d'une ou de plusieurs duplications parmi le ou les messages.