Fenêtre de contexte
Quantité maximale de texte, mesurée en tokens, qu'un modèle de langage peut prendre en compte en même temps : consigne, documents et échange.
Tout ce qu’un modèle de langage « voit » pour répondre doit tenir dans sa fenêtre de contexte : la consigne, l’historique de la conversation et les documents fournis. Au-delà, les éléments les plus anciens sont tronqués ou résumés, ce qui donne l’impression que l’IA « oublie ».
Les fenêtres actuelles atteignent plusieurs centaines de milliers de tokens, de quoi lire de longs documents. Mais une fenêtre plus remplie coûte plus cher et peut diluer l’attention du modèle : pour interroger une grande base documentaire, la technique RAG, qui ne fournit que les passages utiles, reste plus efficace.