開発者向けツール

RAG容量見積もり

重複するチャンクとベクトル本体の容量を推定します。

端末内で処理

連続した単一コーパスの見積もりです。文書境界、索引メタデータ、複製、パディングは含みません。

ここに答えが表示されます。

ヘルプと計算方法

移動幅=チャンク−重複。最後の部分チャンクも含みます。重複処理=重複×(チャンク数−1)。バイト=チャンク数×次元数×バイト数。整数のみ、重複はチャンク未満。コーパス≤10¹²、チャンク≤10⁷、次元≤10⁶、バイト1–16。

トークン計数と対象範囲計算方法と信頼性

計算例

この例を試すか、ご自身の値に変えて使ってみましょう。

コーパスのトークン数
1000
チャンクのトークン数
400
重複トークン数
100
ベクトルの次元数
3
次元あたりのバイト数
4

結果

1000トークン、チャンク400、重複100、3次元、4バイト → 3チャンク、埋め込み1200トークン、36バイト。