Alat pengembang
Penghitung token teks tepat
Hitung teks dengan pengodean cl100k_base yang ditetapkan.
Diproses secara lokal
Tepat untuk pengodean ini dan teks literal, bukan seluruh permintaan API atau semua model. Pemrosesan tetap di perangkat.
Jawaban Anda akan muncul di sini.
Bantuan dan metode
Menggunakan gpt-tokenizer 4.0.0 dan cl100k_base. Spasi, baris baru, dan Unicode tidak diubah; penanda token khusus dihitung sebagai teks. Maksimal 20000 unit UTF-16. Pesan, alat, gambar, dan keluaran tidak termasuk.
OpenAIgpt-tokenizer 4.0.0Metode dan keandalanContoh terselesaikan
Contoh untuk dicoba atau disesuaikan dengan nilai Anda.
- Teks
- hello world
Hasil
Token: 2; ID token: 15339, 1917