Entwicklerwerkzeuge
Exakter Text-Tokenzähler
Text mit der festgelegten Kodierung cl100k_base zählen.
Lokal verarbeitet
Exakt für diese Kodierung und wörtlichen Text, nicht für vollständige API-Anfragen oder alle Modelle. Die Verarbeitung erfolgt auf Ihrem Gerät.
Ihre Antwort erscheint hier.
Hilfe und Methode
Verwendet gpt-tokenizer 4.0.0 und cl100k_base. Leerzeichen, Zeilenumbrüche und Unicode bleiben unverändert; Sondertoken-Marker gelten als Text. Höchstens 20000 UTF-16-Einheiten. Nachrichten, Werkzeuge, Bilder und Ausgabe sind ausgeschlossen.
OpenAIgpt-tokenizer 4.0.0Methoden und VerlässlichkeitDurchgerechnetes Beispiel
Ein Beispiel zum Ausprobieren oder Anpassen an deine Werte.
- Text
- hello world
Ergebnis
Tokens: 2; Token-IDs: 15339, 1917