KNOWLEDGE INJECTION MODEL FOR GENERATIVE COMMONSENSE REASONING

A knowledge injection model for generative commonsense reasoning. In examples, an encoder-decoder model is used to generate a model output (204) a plausible description for a set of concepts. A prototype (218) is generated from an in-domain or out-of-domain knowledge corpus, which is further used as...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: ZHOU, Ming, JIAO, Jian, GONG, Yeyun, DUAN, Nan, HUANG, Yameng, ZHANG, Ruofei
Format: Patent
Sprache:eng ; fre
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
container_end_page
container_issue
container_start_page
container_title
container_volume
creator ZHOU, Ming
JIAO, Jian
GONG, Yeyun
DUAN, Nan
HUANG, Yameng
ZHANG, Ruofei
description A knowledge injection model for generative commonsense reasoning. In examples, an encoder-decoder model is used to generate a model output (204) a plausible description for a set of concepts. A prototype (218) is generated from an in-domain or out-of-domain knowledge corpus, which is further used as input (202) for the encoder-decoder model. Concept input tokens and prototype input tokens are scaled to limit potential skew that may be introduced by the prototype (218). Additionally, position indicators are generated for each input token, which indicate the relative position each respective input token as compared to other input tokens. As such, when decoding the scaled encoded input tokens, the decoder (214) may be more attuned to the scenario bias that is introduced by the prototype (218) when generating a model output (204). Thus, the encoder-decoder model need not rely solely on the set of concepts when generating the model output (204). Un modèle d'injection de connaissances destiné à un raisonnement commun génératif. Dans des exemples, un modèle de codeur-décodeur est utilisé pour générer une sortie de modèle (204) d'une description plausible pour un ensemble de concepts. Un prototype (218) est généré à partir d'un corpus de connaissances dans le domaine ou hors domaine, qui est en outre utilisé en tant qu'entrée (202) pour le modèle de codeur-décodeur. Des jetons d'entrée de concept et des jetons d'entrée de prototype sont mis à l'échelle pour limiter un désalignement potentiel qui peut être introduit par le prototype (218). De plus, des indicateurs de position sont générés pour chaque jeton d'entrée, qui indiquent la position relative de chaque jeton d'entrée respectif par rapport aux autres jetons d'entrée. Ainsi, lors du décodage des jetons d'entrée codés mis à l'échelle, le décodeur (214) peut être davantage accordé à la polarisation de scénario qui est introduite par le prototype (218) lors de la génération d'une sortie de modèle (204). Ainsi, le modèle de codeur-décodeur n'a pas besoin de se baser uniquement sur l'ensemble de concepts lors de la génération de la sortie de modèle (204).
format Patent
fullrecord <record><control><sourceid>epo_EVB</sourceid><recordid>TN_cdi_epo_espacenet_WO2022099566A1</recordid><sourceformat>XML</sourceformat><sourcesystem>PC</sourcesystem><sourcerecordid>WO2022099566A1</sourcerecordid><originalsourceid>FETCH-epo_espacenet_WO2022099566A13</originalsourceid><addsrcrecordid>eNrjZLDz9vMP93F1cXdV8PTzcnUO8fT3U_D1d3H1UXDzD1Jwd_VzDXIM8QxzVXD29_X19wt2BSKFIFfHYH8_Tz93HgbWtMSc4lReKM3NoOzmGuLsoZtakB-fWlyQmJyal1oSH-5vZGBkZGBpaWpm5mhoTJwqAB3bK1k</addsrcrecordid><sourcetype>Open Access Repository</sourcetype><iscdi>true</iscdi><recordtype>patent</recordtype></control><display><type>patent</type><title>KNOWLEDGE INJECTION MODEL FOR GENERATIVE COMMONSENSE REASONING</title><source>esp@cenet</source><creator>ZHOU, Ming ; JIAO, Jian ; GONG, Yeyun ; DUAN, Nan ; HUANG, Yameng ; ZHANG, Ruofei</creator><creatorcontrib>ZHOU, Ming ; JIAO, Jian ; GONG, Yeyun ; DUAN, Nan ; HUANG, Yameng ; ZHANG, Ruofei</creatorcontrib><description>A knowledge injection model for generative commonsense reasoning. In examples, an encoder-decoder model is used to generate a model output (204) a plausible description for a set of concepts. A prototype (218) is generated from an in-domain or out-of-domain knowledge corpus, which is further used as input (202) for the encoder-decoder model. Concept input tokens and prototype input tokens are scaled to limit potential skew that may be introduced by the prototype (218). Additionally, position indicators are generated for each input token, which indicate the relative position each respective input token as compared to other input tokens. As such, when decoding the scaled encoded input tokens, the decoder (214) may be more attuned to the scenario bias that is introduced by the prototype (218) when generating a model output (204). Thus, the encoder-decoder model need not rely solely on the set of concepts when generating the model output (204). Un modèle d'injection de connaissances destiné à un raisonnement commun génératif. Dans des exemples, un modèle de codeur-décodeur est utilisé pour générer une sortie de modèle (204) d'une description plausible pour un ensemble de concepts. Un prototype (218) est généré à partir d'un corpus de connaissances dans le domaine ou hors domaine, qui est en outre utilisé en tant qu'entrée (202) pour le modèle de codeur-décodeur. Des jetons d'entrée de concept et des jetons d'entrée de prototype sont mis à l'échelle pour limiter un désalignement potentiel qui peut être introduit par le prototype (218). De plus, des indicateurs de position sont générés pour chaque jeton d'entrée, qui indiquent la position relative de chaque jeton d'entrée respectif par rapport aux autres jetons d'entrée. Ainsi, lors du décodage des jetons d'entrée codés mis à l'échelle, le décodeur (214) peut être davantage accordé à la polarisation de scénario qui est introduite par le prototype (218) lors de la génération d'une sortie de modèle (204). Ainsi, le modèle de codeur-décodeur n'a pas besoin de se baser uniquement sur l'ensemble de concepts lors de la génération de la sortie de modèle (204).</description><language>eng ; fre</language><subject>CALCULATING ; COMPUTING ; COUNTING ; ELECTRIC DIGITAL DATA PROCESSING ; PHYSICS</subject><creationdate>2022</creationdate><oa>free_for_read</oa><woscitedreferencessubscribed>false</woscitedreferencessubscribed></display><links><openurl>$$Topenurl_article</openurl><openurlfulltext>$$Topenurlfull_article</openurlfulltext><thumbnail>$$Tsyndetics_thumb_exl</thumbnail><linktohtml>$$Uhttps://worldwide.espacenet.com/publicationDetails/biblio?FT=D&amp;date=20220519&amp;DB=EPODOC&amp;CC=WO&amp;NR=2022099566A1$$EHTML$$P50$$Gepo$$Hfree_for_read</linktohtml><link.rule.ids>230,308,780,885,25564,76547</link.rule.ids><linktorsrc>$$Uhttps://worldwide.espacenet.com/publicationDetails/biblio?FT=D&amp;date=20220519&amp;DB=EPODOC&amp;CC=WO&amp;NR=2022099566A1$$EView_record_in_European_Patent_Office$$FView_record_in_$$GEuropean_Patent_Office$$Hfree_for_read</linktorsrc></links><search><creatorcontrib>ZHOU, Ming</creatorcontrib><creatorcontrib>JIAO, Jian</creatorcontrib><creatorcontrib>GONG, Yeyun</creatorcontrib><creatorcontrib>DUAN, Nan</creatorcontrib><creatorcontrib>HUANG, Yameng</creatorcontrib><creatorcontrib>ZHANG, Ruofei</creatorcontrib><title>KNOWLEDGE INJECTION MODEL FOR GENERATIVE COMMONSENSE REASONING</title><description>A knowledge injection model for generative commonsense reasoning. In examples, an encoder-decoder model is used to generate a model output (204) a plausible description for a set of concepts. A prototype (218) is generated from an in-domain or out-of-domain knowledge corpus, which is further used as input (202) for the encoder-decoder model. Concept input tokens and prototype input tokens are scaled to limit potential skew that may be introduced by the prototype (218). Additionally, position indicators are generated for each input token, which indicate the relative position each respective input token as compared to other input tokens. As such, when decoding the scaled encoded input tokens, the decoder (214) may be more attuned to the scenario bias that is introduced by the prototype (218) when generating a model output (204). Thus, the encoder-decoder model need not rely solely on the set of concepts when generating the model output (204). Un modèle d'injection de connaissances destiné à un raisonnement commun génératif. Dans des exemples, un modèle de codeur-décodeur est utilisé pour générer une sortie de modèle (204) d'une description plausible pour un ensemble de concepts. Un prototype (218) est généré à partir d'un corpus de connaissances dans le domaine ou hors domaine, qui est en outre utilisé en tant qu'entrée (202) pour le modèle de codeur-décodeur. Des jetons d'entrée de concept et des jetons d'entrée de prototype sont mis à l'échelle pour limiter un désalignement potentiel qui peut être introduit par le prototype (218). De plus, des indicateurs de position sont générés pour chaque jeton d'entrée, qui indiquent la position relative de chaque jeton d'entrée respectif par rapport aux autres jetons d'entrée. Ainsi, lors du décodage des jetons d'entrée codés mis à l'échelle, le décodeur (214) peut être davantage accordé à la polarisation de scénario qui est introduite par le prototype (218) lors de la génération d'une sortie de modèle (204). Ainsi, le modèle de codeur-décodeur n'a pas besoin de se baser uniquement sur l'ensemble de concepts lors de la génération de la sortie de modèle (204).</description><subject>CALCULATING</subject><subject>COMPUTING</subject><subject>COUNTING</subject><subject>ELECTRIC DIGITAL DATA PROCESSING</subject><subject>PHYSICS</subject><fulltext>true</fulltext><rsrctype>patent</rsrctype><creationdate>2022</creationdate><recordtype>patent</recordtype><sourceid>EVB</sourceid><recordid>eNrjZLDz9vMP93F1cXdV8PTzcnUO8fT3U_D1d3H1UXDzD1Jwd_VzDXIM8QxzVXD29_X19wt2BSKFIFfHYH8_Tz93HgbWtMSc4lReKM3NoOzmGuLsoZtakB-fWlyQmJyal1oSH-5vZGBkZGBpaWpm5mhoTJwqAB3bK1k</recordid><startdate>20220519</startdate><enddate>20220519</enddate><creator>ZHOU, Ming</creator><creator>JIAO, Jian</creator><creator>GONG, Yeyun</creator><creator>DUAN, Nan</creator><creator>HUANG, Yameng</creator><creator>ZHANG, Ruofei</creator><scope>EVB</scope></search><sort><creationdate>20220519</creationdate><title>KNOWLEDGE INJECTION MODEL FOR GENERATIVE COMMONSENSE REASONING</title><author>ZHOU, Ming ; JIAO, Jian ; GONG, Yeyun ; DUAN, Nan ; HUANG, Yameng ; ZHANG, Ruofei</author></sort><facets><frbrtype>5</frbrtype><frbrgroupid>cdi_FETCH-epo_espacenet_WO2022099566A13</frbrgroupid><rsrctype>patents</rsrctype><prefilter>patents</prefilter><language>eng ; fre</language><creationdate>2022</creationdate><topic>CALCULATING</topic><topic>COMPUTING</topic><topic>COUNTING</topic><topic>ELECTRIC DIGITAL DATA PROCESSING</topic><topic>PHYSICS</topic><toplevel>online_resources</toplevel><creatorcontrib>ZHOU, Ming</creatorcontrib><creatorcontrib>JIAO, Jian</creatorcontrib><creatorcontrib>GONG, Yeyun</creatorcontrib><creatorcontrib>DUAN, Nan</creatorcontrib><creatorcontrib>HUANG, Yameng</creatorcontrib><creatorcontrib>ZHANG, Ruofei</creatorcontrib><collection>esp@cenet</collection></facets><delivery><delcategory>Remote Search Resource</delcategory><fulltext>fulltext_linktorsrc</fulltext></delivery><addata><au>ZHOU, Ming</au><au>JIAO, Jian</au><au>GONG, Yeyun</au><au>DUAN, Nan</au><au>HUANG, Yameng</au><au>ZHANG, Ruofei</au><format>patent</format><genre>patent</genre><ristype>GEN</ristype><title>KNOWLEDGE INJECTION MODEL FOR GENERATIVE COMMONSENSE REASONING</title><date>2022-05-19</date><risdate>2022</risdate><abstract>A knowledge injection model for generative commonsense reasoning. In examples, an encoder-decoder model is used to generate a model output (204) a plausible description for a set of concepts. A prototype (218) is generated from an in-domain or out-of-domain knowledge corpus, which is further used as input (202) for the encoder-decoder model. Concept input tokens and prototype input tokens are scaled to limit potential skew that may be introduced by the prototype (218). Additionally, position indicators are generated for each input token, which indicate the relative position each respective input token as compared to other input tokens. As such, when decoding the scaled encoded input tokens, the decoder (214) may be more attuned to the scenario bias that is introduced by the prototype (218) when generating a model output (204). Thus, the encoder-decoder model need not rely solely on the set of concepts when generating the model output (204). Un modèle d'injection de connaissances destiné à un raisonnement commun génératif. Dans des exemples, un modèle de codeur-décodeur est utilisé pour générer une sortie de modèle (204) d'une description plausible pour un ensemble de concepts. Un prototype (218) est généré à partir d'un corpus de connaissances dans le domaine ou hors domaine, qui est en outre utilisé en tant qu'entrée (202) pour le modèle de codeur-décodeur. Des jetons d'entrée de concept et des jetons d'entrée de prototype sont mis à l'échelle pour limiter un désalignement potentiel qui peut être introduit par le prototype (218). De plus, des indicateurs de position sont générés pour chaque jeton d'entrée, qui indiquent la position relative de chaque jeton d'entrée respectif par rapport aux autres jetons d'entrée. Ainsi, lors du décodage des jetons d'entrée codés mis à l'échelle, le décodeur (214) peut être davantage accordé à la polarisation de scénario qui est introduite par le prototype (218) lors de la génération d'une sortie de modèle (204). Ainsi, le modèle de codeur-décodeur n'a pas besoin de se baser uniquement sur l'ensemble de concepts lors de la génération de la sortie de modèle (204).</abstract><oa>free_for_read</oa></addata></record>
fulltext fulltext_linktorsrc
identifier
ispartof
issn
language eng ; fre
recordid cdi_epo_espacenet_WO2022099566A1
source esp@cenet
subjects CALCULATING
COMPUTING
COUNTING
ELECTRIC DIGITAL DATA PROCESSING
PHYSICS
title KNOWLEDGE INJECTION MODEL FOR GENERATIVE COMMONSENSE REASONING
url https://sfx.bib-bvb.de/sfx_tum?ctx_ver=Z39.88-2004&ctx_enc=info:ofi/enc:UTF-8&ctx_tim=2024-12-25T22%3A26%3A07IST&url_ver=Z39.88-2004&url_ctx_fmt=infofi/fmt:kev:mtx:ctx&rfr_id=info:sid/primo.exlibrisgroup.com:primo3-Article-epo_EVB&rft_val_fmt=info:ofi/fmt:kev:mtx:patent&rft.genre=patent&rft.au=ZHOU,%20Ming&rft.date=2022-05-19&rft_id=info:doi/&rft_dat=%3Cepo_EVB%3EWO2022099566A1%3C/epo_EVB%3E%3Curl%3E%3C/url%3E&disable_directlink=true&sfx.directlink=off&sfx.report_link=0&rft_id=info:oai/&rft_id=info:pmid/&rfr_iscdi=true