AIのトークン・文脈・費用を送信前に整理する

長い文書を送る前には、収まるか、いくらかかり得るかという2つの問いがあります。単語数だけでは答えられません。処理と多くの場合の課金の単位はトークンです。

トークンは固定の1単語ではない

トークナイザーはモデルに対応する語彙と規則で分割します。単語が1単位になったり複数に分かれたりします。全言語・全モデル共通の単語換算はありません。

正確なカウントもそのトークナイザーについての値です。モデル、メッセージ形式、指示、ツール定義が変わるとリクエスト全体の数も変わり得ます。

参考資料: Hugging Face — Tokenization Algorithms

回答のための空きを残す

入出力を合わせた文脈枠では、指示、履歴、添付内容を含め、回答と余裕を確保します。独立した入力・出力上限があれば別に確認します。モデルとモードによる制限です。

仮に16000トークンの枠で、入力10000、出力予約2000なら余裕は4000です。文書だけで16000を使うと他の要素を入れられません。

参考資料: Google AI for Developers — Understand and Count Tokens

実際に課金される区分で計算する

100万トークン当たりなど、単位を明示した入力・出力単価を使い、モデルと価格の日付を残します。これはAPI使用料の推定で、月額チャット契約の料金ではありません。

キャッシュ、推論、メディア、ツールには別区分がある場合があります。送った・見えたトークンを一括りにせず、実際の利用明細を確認します。

参考資料: Google AI for Developers — Understand and Count Tokens

有用な文脈より先に無駄を減らす

意図しない重複を取り、全アーカイブではなく関連部分を選びます。数を下げるために答えを左右する事実を削らないでください。文書検索のチャンク数やベクトル数は資源の見積もりで、検索品質の保証ではありません。

実在料金ではない仮の単価例

入力8000トークンを100万当たり2 USD、出力1000を100万当たり6 USDと仮定します。費用 = 8000 ÷ 1000000 × 2 + 1000 ÷ 1000000 × 6 = 1回0.022 USDです。

同じ依頼100回なら、この仮定だけで2.20 USDです。追加料金や再試行は含みません。支出を決める前に実際の単価と測定数へ置き換えてください。

ほかの関連ツール

参考資料