Tokens, contexto y coste: planifica antes de la factura
Antes de enviar un documento largo hay dos preguntas: ¿cabe y cuánto podría costar? Contar palabras no responde a ninguna por sí solo; la unidad de procesamiento y a menudo de precio es el token.
Un token no equivale a una palabra fija
El tokenizador divide según vocabulario y reglas asociados al modelo. Una palabra puede ser una unidad o varias partes. No existe una conversión universal de palabras a tokens para todos los idiomas y modelos.
Un recuento exacto describe ese tokenizador. Cambiar modelo, formato de mensajes, instrucciones o herramientas puede cambiar el total de la petición completa.
Referencias: Hugging Face — Tokenization Algorithms
Reserva sitio para la respuesta
Si el contexto combina entrada y salida, suma instrucciones, historial y adjuntos, y reserva respuesta y margen. Comprueba también límites separados de entrada y salida: dependen del modelo y modo.
Un presupuesto hipotético de 16000 tokens, con 10000 de entrada y 2000 de salida reservada, deja 4000 de margen. Un documento de 16000 por sí solo no deja sitio para lo demás.
Referencias: Google AI for Developers — Understand and Count Tokens
Calcula lo que realmente se factura
Usa tarifas de entrada y salida con su unidad, por ejemplo un millón de tokens. Guarda modelo y fecha del precio. Es una estimación de API, no una suscripción mensual de chat.
Caché, razonamiento, medios o herramientas pueden tener categorías distintas. Revisa el consumo real; no trates todo lo enviado o mostrado como una única clase de facturación.
Referencias: Google AI for Developers — Understand and Count Tokens
Quita desperdicio antes que contexto útil
Elimina repeticiones involuntarias y selecciona fragmentos relevantes, no todo el archivo cada vez. No descartes hechos que cambian la respuesta por bajar el contador. En recuperación documental, fragmentos y vectores estiman recursos, no calidad de búsqueda.
Ejemplo con precios inventados, no una cotización
Supón 8000 tokens de entrada a 2 USD por millón y 1000 de salida a 6 USD por millón. Coste = 8000 ÷ 1000000 × 2 + 1000 ÷ 1000000 × 6 = 0,022 USD por petición.
100 peticiones idénticas serían 2,20 USD solo bajo esas hipótesis, sin otros cargos ni reintentos. Sustituye precios y cantidades por mediciones reales antes de gastar.