Outils de développement
Compteur exact de tokens de texte
Comptez le texte avec l’encodage fixe cl100k_base.
Traitement local
Exact pour cet encodage et le texte littéral, pas pour une requête API complète ni tous les modèles. Le traitement reste sur votre appareil.
Votre réponse apparaîtra ici.
Aide et méthode
Utilise gpt-tokenizer 4.0.0 et cl100k_base. Espaces, sauts de ligne et Unicode sont conservés ; les marqueurs spéciaux sont du texte littéral. Maximum 20000 unités UTF-16. Messages, outils, images et sortie exclus.
OpenAIgpt-tokenizer 4.0.0Méthodes et fiabilitéExemple résolu
Un exemple à essayer ou à adapter à vos valeurs.
- Texte
- hello world
Résultat
Tokens: 2; Identifiants des tokens: 15339, 1917