開発者向けツール
RAG容量見積もり
重複するチャンクとベクトル本体の容量を推定します。
端末内で処理
連続した単一コーパスの見積もりです。文書境界、索引メタデータ、複製、パディングは含みません。
ここに答えが表示されます。
ヘルプと計算方法
移動幅=チャンク−重複。最後の部分チャンクも含みます。重複処理=重複×(チャンク数−1)。バイト=チャンク数×次元数×バイト数。整数のみ、重複はチャンク未満。コーパス≤10¹²、チャンク≤10⁷、次元≤10⁶、バイト1–16。
トークン計数と対象範囲計算方法と信頼性計算例
この例を試すか、ご自身の値に変えて使ってみましょう。
- コーパスのトークン数
- 1000
- チャンクのトークン数
- 400
- 重複トークン数
- 100
- ベクトルの次元数
- 3
- 次元あたりのバイト数
- 4
結果
1000トークン、チャンク400、重複100、3次元、4バイト → 3チャンク、埋め込み1200トークン、36バイト。