सटीक पाठ टोकन गणना

gpt-tokenizer 4.0.0 और cl100k_base उपयोग करता है। रिक्त स्थान, पंक्तियाँ और Unicode नहीं बदलते; विशेष टोकन चिह्न सामान्य पाठ की तरह गिने जाते हैं। अधिकतम 20000 UTF-16 इकाइयाँ। संदेश संरचना, उपकरण, चित्र और आउटपुट शामिल नहीं हैं।