THEME DETECTION WITHIN A CORPUS OF INFORMATION

Systems and methods are used to detect underlying themes from a collection of documents at an aggregated level. A representative set of documents may be selected from a cluster of documents, with the representative set of documents corresponding to a general theme of the cluster. Candidate theme phrases may then be extracted from the documents and used to generate document embeddings and candidate phrase embeddings, which may be ranked, such as with a diversity-based ranking approach. Certain candidates may be selected from the ranking. Each of the documents forming the representative set may then be concatenated and a query embedding may be generated and ranked against the candidate phrases. In this manner, a collection of phrases associated with both the general underlying theme of the cluster, along with granular topics associated with that theme, may be identified. La présente invention concerne des systèmes et des procédés qui sont utilisés pour détecter des thèmes sous-jacents à partir d'une collection de documents à un niveau agrégé. Un ensemble représentatif de documents peut être sélectionné à partir d'un groupe de documents, l'ensemble représentatif de documents correspondant à un thème général du groupe. Des expressions thématiques candidates peuvent ensuite être extraites des documents et utilisées pour générer des emboîtements de documents et des emboîtements d'expressions candidates, qui peuvent être classés, par exemple, à l'aide d'une approche de classement basée sur la diversité. Certains candidats peuvent être sélectionnés à partir du classement. Chacun des documents formant l'ensemble représentatif peut ensuite être concaténé et un emboîtement d'interrogation peut être généré et classé par rapport aux expressions candidates. De cette manière, une collection d'expressions associées à la fois au thème sous-jacent général du groupe et à des sujets granulaires associés à ce thème, peut être identifiée.