Tokens, contexto e custo: planeje antes da cobrança
Antes de enviar um documento longo, pergunte: cabe e quanto pode custar? Contar palavras não basta; a unidade de processamento e frequentemente de preço é o token.
Token não é uma palavra fixa
O tokenizador divide o texto por vocabulário e regras ligados ao modelo. Uma palavra pode permanecer inteira ou virar partes. Não há conversão universal de palavras em tokens entre idiomas e modelos.
Uma contagem exata descreve aquele tokenizador. Outro modelo, formato de mensagens, instruções ou ferramentas pode alterar a contagem da requisição completa.
Referências: Hugging Face — Tokenization Algorithms
Reserve espaço para responder
Se o contexto reúne entrada e saída, inclua instruções, histórico e anexos, reservando resposta e margem. Verifique limites separados de entrada e saída quando existirem: dependem do modelo e modo.
Um orçamento hipotético de 16000 tokens, com 10000 de entrada e 2000 reservados à saída, deixa 4000 de margem. Um documento de 16000 sozinho não deixa espaço para o restante.
Referências: Google AI for Developers — Understand and Count Tokens
Calcule o que é realmente cobrado
Use preços de entrada e saída com unidade declarada, como um milhão de tokens. Registre modelo e data do preço. Isso estima uso da API, não assinatura mensal de chat.
Cache, raciocínio, mídia ou ferramentas podem ter categorias distintas. Confira o uso efetivo em vez de tratar todo token enviado ou exibido como a mesma classe de cobrança.
Referências: Google AI for Developers — Understand and Count Tokens
Reduza desperdício antes de reduzir contexto útil
Remova repetições acidentais e escolha trechos relevantes em vez de anexar todo o acervo sempre. Não descarte fatos que mudam a resposta só para baixar o contador. Na busca documental, trechos e vetores estimam recursos, não garantem qualidade de recuperação.
Exemplo com preços inventados, não tabela de fornecedor
Suponha 8000 tokens de entrada a 2 USD por milhão e 1000 de saída a 6 USD por milhão. Custo = 8000 ÷ 1000000 × 2 + 1000 ÷ 1000000 × 6 = 0,022 USD por requisição.
100 requisições iguais custariam 2,20 USD apenas nessas condições, sem outros encargos ou tentativas. Substitua preços e quantidades por medições reais antes de gastar.