GENERATING AND IMPLEMENTING CONTEXT PROFILES IN PROCESSING QUERIES USING FOUNDATION MODELS

A context analysis system receives a query from a user. The context analysis system generates one or multiple context profiles and generates a prompt for a foundation model for each of the context profiles. The context analysis system analyzes each of the context profiles and generates a relevancy score. The context analysis system selects one of the context profiles based on the relevancy score. In some examples, the context analysis system iteratively determines predicted latencies and relevancies of processing a query in conjunction with a generated context and, based on the predicted latencies and/or relevancies, processes the query using a foundation model, such as a large language model (LLM). Un système d'analyse de contexte reçoit une requête d'un utilisateur. Le système d'analyse de contexte génère un ou plusieurs profils de contexte et génère une invite pour un modèle de fondation pour chacun des profils de contexte. Le système d'analyse de contexte analyse chacun des profils de contexte et génère un score de pertinence. Le système d'analyse de contexte sélectionne l'un des profils de contexte sur la base du score de pertinence. Dans certains exemples, le système d'analyse de contexte détermine de manière itérative des latences et des pertinences prédites de traitement d'une requête conjointement avec un contexte généré et, sur la base des latences et/ou des pertinence prédites, traite la requête à l'aide d'un modèle de fondation, tel qu'un grand modèle de langage (LLM).