Token, bağlam ve maliyet: faturadan önce isteği planlayın
Uzun belgeyi göndermeden iki soruyu yanıtlayın: sığacak mı, neye mal olabilir? Kelime sayısı tek başına yeterli değildir; işleme ve çoğu zaman fiyat birimi tokendir.
Token sabit bir kelime değildir
Tokenleştirici modele bağlı sözlük ve kurallarla metni böler. Bir kelime tek birim kalabilir veya parçalara ayrılabilir. Her dil ve model için tek kelime-token dönüşümü yoktur.
Kesin sayım yalnızca o tokenleştiriciyi anlatır. Başka model, mesaj biçimi, yönerge veya araç tanımı bütün isteğin sayısını değiştirebilir.
Kaynaklar: Hugging Face — Tokenization Algorithms
Yanıt için alan ayırın
Girdi ve çıktıyı birleştiren bağlamda yönergeleri, geçmişi ve ekleri toplayın; yanıt ve pay bırakın. Varsa ayrı girdi/çıktı sınırlarını kontrol edin; bunlar model ve moda bağlıdır.
Varsayımsal 16000 token bütçesinde 10000 girdi ve 2000 ayrılmış çıktı, 4000 pay bırakır. Tek başına 16000 tokenlık belge, isteğin kalanına yer bırakmaz.
Kaynaklar: Google AI for Developers — Understand and Count Tokens
Gerçekte ücretlendirilen şeyi hesaplayın
Girdi ve çıktı fiyatlarını milyon token gibi belirtilmiş birimle kullanın. Modeli ve fiyat tarihini kaydedin. Bu API kullanımı tahminidir, aylık sohbet aboneliği değil.
Önbellek, akıl yürütme, medya veya araçlar ayrı kullanım sınıfları olabilir. Gönderilen veya görülen her tokenı tek fatura sınıfı saymak yerine gerçek kullanım dökümüne bakın.
Kaynaklar: Google AI for Developers — Understand and Count Tokens
Yararlı bağlamdan önce israfı azaltın
Yanlışlıkla tekrarlanan metni kaldırıp tüm arşiv yerine ilgili bölümleri seçin. Sayıyı azaltmak için cevabı değiştiren gerçeği atmayın. Belge aramada parça ve vektör sayıları kaynak tahminidir, erişim kalitesi garantisi değildir.
Sağlayıcı fiyatı olmayan varsayımsal örnek
8000 girdi tokenı milyon başına 2 USD, 1000 çıktı tokenı milyon başına 6 USD olsun. Maliyet = 8000 ÷ 1000000 × 2 + 1000 ÷ 1000000 × 6 = istek başına 0,022 USD.
100 aynı istek yalnızca bu varsayımlarla, ek ücret ve tekrarlar hariç 2,20 USD olur. Harcamadan önce sayı ve fiyatları gerçek ölçümlerinizle değiştirin.