コンテキストの予算:質問だけでなく回答の余地も残す

入力が上限未満なら、資料を追加できそうに見えます。しかし回答にも領域が必要です。コンテキスト予算は、詰め込みすぎる前に内訳を見えるようにします。

容量のすべてを資料に使えるわけではない

モデルのコンテキスト容量と出力上限の両方を確認します。モデルによって入力、出力、推論トークンが共有領域を使います。余裕があっても、独立した出力上限はなくなりません。

容量、入力、回答の予約分、まだ数えていない追加分を指定します。これらは計画用の数値で、文章の自動計測やモデルへの設定送信ではありません。

参考資料: OpenAI — Context windows and output limits

指示やツールを二重に数えない

入力の数に指示やツール定義が含まれているなら、追加分として再計上しません。一方、段落だけの計測ではそれらを含んでいないことがあります。

各数値の対象を書き留めます。例えば入力は資料と質問、追加分は未計測の指示です。残量をプラスにするためだけに余裕の数値を動かさないでください。

残量は計算結果であり品質保証ではない

合計が容量を超える場合は、目的に応じて資料や回答予約を減らして再計測します。省スペースのためだけに重要な指示を消さないでください。

残量が正でも、全資料を正しく利用することや、正確で途切れない回答は保証されません。余白を埋めるより関連資料を選び、回答そのものを評価します。

例:追加の文章が余裕を使い切る

仮に容量12000トークン、入力7200、回答予約3000、未計測の追加分600とします。合計10800で残り1200です。これは特定モデルの仕様ではありません。

1800トークンを追加すると入力9000、合計12600となり、600超過します。指示の600がすでに入力に含まれていたなら、追加分は0にします。超過を隠すのでなく、何を数えたかを修正してください。

参考資料