Budget de contexte : garder de la place pour la réponse

Un document supplémentaire semble parfois tenir parce que l’entrée reste sous la limite. Mais la réponse a besoin de place. Le budget rend les allocations visibles avant de surcharger la requête.

La capacité ne sert pas uniquement aux documents

Vérifiez la fenêtre de contexte et la limite de sortie du modèle. Selon le modèle, l’espace partagé comprend entrée, sortie et raisonnement ; une marge disponible ne supprime pas une limite de sortie distincte.

Saisissez capacité, entrée, réserve de réponse et éléments supplémentaires non encore comptés. Ce sont des valeurs de planification, pas une mesure automatique du texte ni des réglages envoyés au modèle.

Références: OpenAI — Context windows and output limits

Ne pas compter instructions et outils 2 fois

Si l’entrée comprend déjà instructions et définitions d’outils, ne les ajoutez pas une seconde fois comme surcoût en tokens. Un paragraphe compté isolément ne couvre pas nécessairement ces éléments.

Notez le contenu de chaque chiffre : document et question dans l’entrée, par exemple, instructions non mesurées dans la part supplémentaire. Ne modifiez pas arbitrairement la marge pour afficher un solde positif.

La marge est arithmétique, pas une garantie de qualité

Si le total dépasse la capacité, réduisez contenu ou réserve selon la tâche, puis mesurez à nouveau. Ne retirez pas une consigne importante seulement pour gagner de la place.

Un solde positif ne prouve pas que tous les passages seront bien utilisés ni que la réponse sera juste ou non tronquée. Sélectionnez les éléments pertinents et évaluez la réponse plutôt que de remplir l’espace disponible.

Exemple : un passage ajouté consomme la réserve

Supposons 12000 tokens de capacité : 7200 d’entrée, 3000 réservés à la réponse et 600 supplémentaires non comptés. Le total est de 10800 et il reste 1200. Cette capacité est fictive, pas une caractéristique de modèle.

Ajouter 1800 tokens porte l’entrée à 9000 et le total à 12600 : un dépassement de 600. Si les 600 tokens d’instructions figuraient déjà dans l’entrée, la part supplémentaire doit être 0. Corrigez le périmètre du compte, pas l’affichage du dépassement.

Références