SYSTEM, METHOD, AND COMPUTER PROGRAM PRODUCT FOR TOKENIZING DOCUMENT CITATIONS

A method, system, and computer program product is provided for tokenizing document citations. The method may include tokenizing each string of a plurality of strings into at least one citation token representing at least one citation parameter, resulting in a plurality of citation tokens, grouping the plurality of citation tokens into a plurality of token groups, each token group of the plurality of token groups including at least one citation token representing a separate citation in the at least one textual document, assigning metadata to each token group of the plurality of token groups, and generating a normalized citation for each token group of the plurality of token groups based on the metadata. L'invention concerne un procédé, un système et un produit de programme informatique permettant de segmenter en jetons des citations de documents. Le procédé peut consister à segmenter en jetons chaque chaîne d'une pluralité de chaînes en au moins un jeton de citation représentant au moins un paramètre de citation, ce qui permet d'obtenir une pluralité de jetons de citation, à regrouper la pluralité de jetons de citation en une pluralité de groupes de jetons, chaque groupe de jetons de la pluralité de groupes de jetons comprenant au moins un jeton de citation représentant une citation séparée dans le ou les documents textuels, à attribuer des métadonnées à chaque groupe de jetons de la pluralité de groupes de jetons, et à générer une citation normalisée pour chaque groupe de jetons de la pluralité de groupes de jetons sur la base des métadonnées.