NEURAL NETWORK ARCHITECTURES EMPLOYING INTERRELATEDNESS

Enhanced neural network architectures that enable the determination and employment of association-based or attention-based "interrelatedness" of various portions of the input data are provided. A method of employing an architecture includes receiving a first input data element, a second input element, and a third input element. A first interrelated metric that indicates a degree of interrelatedness between the first input data element and the second input data element is determined. A second interrelated metric is determined. The second interrelated metric indicates a degree of interrelatedness between the first input data element and the third input data element. An interrelated vector is generated based on the first interrelated metric and the second interrelated metric. The neural network is employed to generate an output vector that corresponds to the first input vector and is based on a combination of the first input vector and the interrelated vector. L'invention concerne des architectures de réseau neuronal améliorées permettant la détermination et l'utilisation d'une "interdépendance" fondée sur l'association ou fondée sur l'attention de diverses parties des données d'entrée. Un procédé d'utilisation d'une architecture comprend la réception d'un premier élément de données d'entrée, d'un deuxième élément d'entrée et d'un troisième élément d'entrée. Une première métrique interdépendante indiquant un degré d'interdépendance entre le premier élément de données d'entrée et le deuxième élément de données d'entrée est déterminée. Une seconde métrique interdépendante est déterminée. La seconde métrique interdépendante indique un degré d'interdépendance entre le premier élément de données d'entrée et le troisième élément de données d'entrée. Un vecteur interdépendant est généré en fonction de la première métrique interdépendante et de la seconde métrique interdépendante. Le réseau neuronal est employé pour générer un vecteur de sortie correspondant au premier vecteur d'entrée et est fondé sur une combinaison du premier vecteur d'entrée et du vecteur interdépendant.