Geliştirici araçları
Kesin metin token sayacı
Sabit cl100k_base kodlamasıyla metin tokenlarını sayın.
Yerel olarak işlenir
Bu kodlama ve düz metin için kesindir; tam API isteği veya tüm modeller için değildir. İşlem cihazınızda yapılır.
Yanıtınız burada görünecek.
Yardım ve yöntem
gpt-tokenizer 4.0.0 ve cl100k_base kullanır. Boşluklar, satırlar ve Unicode korunur; özel token işaretleri düz metin sayılır. En fazla 20000 UTF-16 birimi. Mesajlar, araçlar, görüntüler ve çıktı hariçtir.
OpenAIgpt-tokenizer 4.0.0Yöntemler ve güvenilirlikÇözülmüş örnek
Deneyebileceğiniz veya kendi değerlerinize uyarlayabileceğiniz bir örnek.
- Metin
- hello world
Sonuç
Token: 2; Token kimlikleri: 15339, 1917