HUMAN-IN-THE-LOOP VOICE AUTOMATION SYSTEM

The present disclosure is directed to automating user interactions in an application. In particular, the computing device can determine, based on the input data, an intent associated with performing an action on the computing device. Additionally, the computing device can invoke, using an application-level assistant component configured to provide an application-level interface on the computing device, execution of an application. Moreover, the computing device can transmit, to a system-level assistant component configured to provide a system-level interface with the computing device, instructions to interface with an actionable component of the application. The instructions can be transmitted using a trusted intermediary component configured to facilitate an interface between the system-level assistant component and the application-level assistant component. Furthermore, the computing device can engage, using the system-level assistant component, the actionable component of the application to perform the action. La présente divulgation concerne l'automatisation d'interactions d'utilisateur dans une application. En particulier, le dispositif informatique peut déterminer, sur la base des données d'entrée, une intention associée à la réalisation d'une action sur le dispositif informatique. De plus, le dispositif informatique peut appeler, à l'aide d'un composant d'assistant de niveau application configuré pour fournir une interface de niveau application sur le dispositif informatique, l'exécution d'une application. De plus, le dispositif informatique peut transmettre, à un composant d'assistant de niveau système configuré pour fournir une interface de niveau système avec le dispositif informatique, des instructions pour être en interface avec un composant actionnable de l'application. Les instructions peuvent être transmises à l'aide d'un composant intermédiaire de confiance configuré pour faciliter une interface entre le composant d'assistant de niveau système et le composant d'assistant de niveau application. En outre, le dispositif informatique peut amener, à l'aide du composant d'assistant de niveau système, le composant actionnable de l'application à effectuer l'action.