OPTIMIZING DATA TO IMPROVE LATENCY

Systems and methods for using a generative artificial intelligence (AI) model to generate a suggested draft reply to a selected message. A message generation system and method are described that optimize input that is provided to the AI model so that it provides the most relevant information. In some examples, input prompts to the AI model are limited in size and latency can be impacted based on the size of the input provided to the AI model. Thus, the method and system identify, include, and format relevant information in an input prompt. The prompt reduces latency by the generative AI model in processing the prompt and may also lead to more relevant results produced by the generative AI model. Systèmes et procédés d'utilisation d'un modèle d'intelligence artificielle (IA) générative pour générer une ébauche de réponse suggérée à un message sélectionné. Un système et un procédé de génération de message sont décrits et optimisent une entrée qui est fournie au modèle d'IA de telle sorte qu'elle fournit les informations les plus pertinentes. Dans certains exemples, la taille d'invites d'entrée au modèle d'IA est limitée et la latence peut être impactée sur la base de la taille de l'entrée fournie au modèle d'IA. Ainsi, le procédé et le système identifient, comprennent et formatent des informations pertinentes dans une invite d'entrée. L'invite réduit la latence par le modèle d'IA générative dans le traitement de l'invite et peut également conduire à la production de résultats plus pertinents par le modèle d'IA générative.