正確なテキストトークン数

gpt-tokenizer 4.0.0とcl100k_baseを使用します。空白、改行、Unicodeを変更せず、特殊トークンの表記も通常の文字列として数えます。上限はUTF-16の20000コード単位です。メッセージ構造、ツール、画像、出力は含みません。