KNOWLEDGE INJECTION MODEL FOR GENERATIVE COMMONSENSE REASONING

A knowledge injection model for generative commonsense reasoning. In examples, an encoder-decoder model is used to generate a model output (204) a plausible description for a set of concepts. A prototype (218) is generated from an in-domain or out-of-domain knowledge corpus, which is further used as...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: ZHOU, Ming, JIAO, Jian, GONG, Yeyun, DUAN, Nan, HUANG, Yameng, ZHANG, Ruofei
Format: Patent
Sprache:eng ; fre
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:A knowledge injection model for generative commonsense reasoning. In examples, an encoder-decoder model is used to generate a model output (204) a plausible description for a set of concepts. A prototype (218) is generated from an in-domain or out-of-domain knowledge corpus, which is further used as input (202) for the encoder-decoder model. Concept input tokens and prototype input tokens are scaled to limit potential skew that may be introduced by the prototype (218). Additionally, position indicators are generated for each input token, which indicate the relative position each respective input token as compared to other input tokens. As such, when decoding the scaled encoded input tokens, the decoder (214) may be more attuned to the scenario bias that is introduced by the prototype (218) when generating a model output (204). Thus, the encoder-decoder model need not rely solely on the set of concepts when generating the model output (204). Un modèle d'injection de connaissances destiné à un raisonnement commun génératif. Dans des exemples, un modèle de codeur-décodeur est utilisé pour générer une sortie de modèle (204) d'une description plausible pour un ensemble de concepts. Un prototype (218) est généré à partir d'un corpus de connaissances dans le domaine ou hors domaine, qui est en outre utilisé en tant qu'entrée (202) pour le modèle de codeur-décodeur. Des jetons d'entrée de concept et des jetons d'entrée de prototype sont mis à l'échelle pour limiter un désalignement potentiel qui peut être introduit par le prototype (218). De plus, des indicateurs de position sont générés pour chaque jeton d'entrée, qui indiquent la position relative de chaque jeton d'entrée respectif par rapport aux autres jetons d'entrée. Ainsi, lors du décodage des jetons d'entrée codés mis à l'échelle, le décodeur (214) peut être davantage accordé à la polarisation de scénario qui est introduite par le prototype (218) lors de la génération d'une sortie de modèle (204). Ainsi, le modèle de codeur-décodeur n'a pas besoin de se baser uniquement sur l'ensemble de concepts lors de la génération de la sortie de modèle (204).