Ferramentas para desenvolvedores
Contador exato de tokens de texto
Conte texto com a codificação fixa cl100k_base.
Processado localmente
Exato para esta codificação e texto literal, não para uma solicitação API completa ou todos os modelos. O processamento fica no dispositivo.
Sua resposta aparecerá aqui.
Ajuda e método
Usa gpt-tokenizer 4.0.0 e cl100k_base. Preserva espaços, quebras e Unicode; marcadores especiais são texto literal. Máximo de 20000 unidades UTF-16. Exclui mensagens, ferramentas, imagens e saída.
OpenAIgpt-tokenizer 4.0.0Métodos e confiabilidadeExemplo resolvido
Um exemplo para testar ou adaptar aos seus valores.
- Texto
- hello world
Resultado
Tokens: 2; Identificadores dos tokens: 15339, 1917