Kontextbudget: Platz für die Antwort lassen
Ein weiteres Dokument scheint zu passen, solange die Eingabe unter der Grenze bleibt. Doch die Antwort braucht ebenfalls Platz. Ein Kontextbudget macht die Aufteilung vor einer übervollen Anfrage sichtbar.
Kapazität ist nicht nur Dokumentenplatz
Prüfen Sie Kontextfenster und Ausgabelimit des Modells. Je nach Modell umfasst der gemeinsame Platz Eingabe, Ausgabe und Reasoning-Tokens. Freier Kontext hebt ein separates Ausgabelimit nicht auf.
Geben Sie Kapazität, Eingabe, Antwortreserve und noch nicht gezählten Zusatzaufwand ein. Das sind Planungswerte, keine automatische Textmessung oder ans Modell gesendeten Einstellungen.
Anweisungen und Werkzeuge nicht doppelt zählen
Enthält die Eingabe bereits Anweisungen und Werkzeugdefinitionen, dürfen diese nicht erneut als Zusatzaufwand addiert werden. Die Messung eines einzelnen Absatzes deckt solche Teile dagegen nicht unbedingt ab.
Notieren Sie, was jeder Wert umfasst: etwa Dokument und Frage in der Eingabe, noch ungemessene Anweisungen im Zusatz. Verändern Sie den Puffer nicht willkürlich, nur damit das Ergebnis positiv wird.
Restkapazität ist keine Qualitätsgarantie
Übersteigt die Summe die Kapazität, reduzieren Sie Material oder Antwortreserve passend zur Aufgabe und messen erneut. Löschen Sie nicht bloß aus Platzgründen eine wichtige Anweisung.
Ein positiver Rest beweist weder korrekte Nutzung aller Passagen noch eine richtige oder ungekürzte Antwort. Wählen Sie relevante Inhalte und bewerten Sie die Antwort, statt freien Platz um jeden Preis zu füllen.
Beispiel: ein Zusatztext verbraucht die Reserve
Bei fiktiven 12000 Tokens Kapazität entfallen 7200 auf Eingabe, 3000 auf Antwortreserve und 600 auf ungezählten Zusatzaufwand. Belegt sind 10800, übrig bleiben 1200. Das ist keine Spezifikation eines bestimmten Modells.
Weitere 1800 Tokens erhöhen die Eingabe auf 9000 und die Summe auf 12600: 600 über der Grenze. Waren die 600 Anweisungs-Tokens schon in der Eingabe enthalten, setzen Sie den Zusatz auf 0. Korrigieren Sie den Zählumfang, statt den Überlauf zu verbergen.