Tokens, Kontext und Kosten: vor der Rechnung planen
Vor einem langen Dokument stellen sich zwei Fragen: Passt es hinein und was könnte es kosten? Wörter allein reichen nicht; die Verarbeitungs- und häufig Preiseinheit ist das Token.
Ein Token ist kein festes Wort
Ein Tokenizer zerlegt Text anhand modellbezogener Vokabeln und Regeln. Ein Wort bleibt eine Einheit oder zerfällt in Teile. Keine feste Umrechnung gilt für alle Sprachen und Modelle.
Eine exakte Zählung beschreibt nur diesen Tokenizer. Anderes Modell, Nachrichtenformat, Anweisungen oder Werkzeugdefinitionen können die Tokenzahl der vollständigen Anfrage verändern.
Platz für die Antwort reservieren
Bei gemeinsamem Ein-/Ausgabekontext Anweisungen, Verlauf und Anhänge mitzählen, dann Antwort und Puffer reservieren. Eventuelle separate Grenzen beachten; sie gehören zum gewählten Modell und Modus.
Ein angenommenes Budget von 16000 Tokens mit 10000 Eingabe und 2000 reservierter Ausgabe lässt 4000 Puffer. Ein Dokument mit 16000 allein lässt keinen Platz für den Rest.
Quellen: Google AI for Developers — Understand and Count Tokens
Die tatsächlich berechneten Kategorien verwenden
Ein- und Ausgabepreise mit Einheit, etwa je Million Tokens, nutzen. Modell und Preisdatum festhalten. Das schätzt API-Nutzung, kein monatliches Chat-Abonnement.
Cache, Schlussfolgern, Medien oder Werkzeuge können eigene Nutzungskategorien haben. Den tatsächlichen Verbrauch prüfen statt alle gesendeten oder sichtbaren Tokens einer Klasse zuzuordnen.
Quellen: Google AI for Developers — Understand and Count Tokens
Verschwendung vor nützlichem Kontext reduzieren
Unbeabsichtigte Wiederholung entfernen und relevante Auszüge statt ganzer Archive wählen. Keine entscheidenden Fakten nur für eine kleinere Zahl streichen. Bei Dokumentensuche schätzen Chunk- und Vektoranzahlen Ressourcen, garantieren keine Suchqualität.
Beispiel mit erfundenen Preisen, kein Anbieterangebot
Angenommen 8000 Eingabetokens zu 2 USD je Million und 1000 Ausgabetokens zu 6 USD je Million: Kosten = 8000 ÷ 1000000 × 2 + 1000 ÷ 1000000 × 6 = 0,022 USD je Anfrage.
100 gleiche Anfragen kosten unter diesen Annahmen 2,20 USD, ohne weitere Gebühren oder Wiederholungen. Vor Ausgaben Preise und Mengen durch tatsächliche Messungen ersetzen.