Token, konteks, dan biaya: rencanakan sebelum tagihan
Sebelum mengirim dokumen panjang, tanyakan apakah muat dan berapa biayanya. Jumlah kata saja tidak menjawab; satuan pemrosesan dan sering kali harga adalah token.
Token bukan satu kata tetap
Tokenizer membagi teks menurut kosakata dan aturan model. Satu kata bisa tetap utuh atau menjadi beberapa bagian. Tidak ada rasio kata-token yang berlaku untuk semua bahasa dan model.
Hitungan tepat hanya menggambarkan tokenizer tersebut. Model, format pesan, instruksi, atau definisi alat lain dapat mengubah jumlah seluruh permintaan.
Referensi: Hugging Face — Tokenization Algorithms
Sisakan ruang untuk jawaban
Jika konteks menggabungkan masukan dan keluaran, hitung instruksi, riwayat, dan lampiran, lalu sisakan jawaban serta margin. Periksa batas terpisah jika ada; batas bergantung pada model dan mode.
Anggaran contoh 16000 token dengan 10000 masukan dan 2000 keluaran yang dicadangkan menyisakan 4000 margin. Dokumen 16000 sendiri tidak memberi ruang untuk bagian lainnya.
Referensi: Google AI for Developers — Understand and Count Tokens
Hitung kategori yang benar-benar ditagih
Gunakan tarif masukan/keluaran beserta satuannya, misalnya per juta token. Catat model dan tanggal harga. Ini estimasi penggunaan API, bukan langganan chat bulanan.
Cache, penalaran, media, atau alat bisa punya kategori berbeda. Periksa laporan penggunaan sebenarnya, bukan menganggap semua token terkirim atau terlihat punya satu kelas tagihan.
Referensi: Google AI for Developers — Understand and Count Tokens
Kurangi pemborosan sebelum konteks penting
Buang pengulangan tak sengaja dan pilih kutipan relevan, bukan seluruh arsip setiap kali. Jangan membuang fakta pengubah jawaban hanya untuk mengecilkan penghitung. Dalam pencarian dokumen, jumlah potongan dan vektor memperkirakan sumber daya, bukan menjamin kualitas temu kembali.
Contoh tarif rekaan, bukan penawaran penyedia
Asumsikan 8000 token masukan seharga 2 USD per juta dan 1000 keluaran seharga 6 USD per juta. Biaya = 8000 ÷ 1000000 × 2 + 1000 ÷ 1000000 × 6 = 0,022 USD per permintaan.
100 permintaan sama menjadi 2,20 USD hanya dengan asumsi itu, di luar biaya lain atau pengulangan. Ganti harga dan jumlah dengan pengukuran nyata sebelum membelanjakan uang.