أدوات المطورين
عداد رموز النص الدقيق
عدّ رموز النص بترميز cl100k_base المثبّت.
المعالجة محلية
دقيق لهذا الترميز والنص الحرفي، وليس لطلب API كامل أو لكل نموذج. تتم المعالجة على جهازك.
ستظهر إجابتك هنا.
المساعدة والمنهج
يستخدم gpt-tokenizer 4.0.0 وترميز cl100k_base. يحافظ على المسافات والأسطر وUnicode؛ تُحسب علامات الرموز الخاصة كنص حرفي. الحد 20000 وحدة UTF-16. لا يشمل الرسائل والأدوات والصور ورموز الإخراج.
OpenAIgpt-tokenizer 4.0.0المنهج والموثوقيةمثال محلول
مثال يمكنك تجربته أو تعديله بقيمك.
- النص
- hello world
النتيجة
الرموز: 2; معرّفات الرموز: 15339, 1917