Herramientas para desarrolladores
Contador exacto de tokens de texto
Cuenta texto con la codificación fija cl100k_base.
Procesado de forma local
Exacto para esta codificación y texto literal, no para una solicitud API completa ni todos los modelos. Se procesa en tu dispositivo.
Tu respuesta aparecerá aquí.
Ayuda y método
Usa gpt-tokenizer 4.0.0 y cl100k_base. Conserva espacios, saltos y Unicode; los marcadores especiales se cuentan como texto literal. Máximo 20000 unidades UTF-16. Excluye mensajes, herramientas, imágenes y salida.
OpenAIgpt-tokenizer 4.0.0Métodos y fiabilidadEjemplo resuelto
Un ejemplo que puedes probar o adaptar a tus valores.
- Texto
- hello world
Resultado
Tokens: 2; Identificadores de tokens: 15339, 1917