Entwicklerwerkzeuge
RAG-Größenschätzung
Überlappende Abschnitte und rohe Vektordaten schätzen.
Lokal verarbeitet
Schätzung für einen durchgehenden Korpus; Dokumentgrenzen, Indexmetadaten, Kopien und Auffüllung fehlen.
Ihre Antwort erscheint hier.
Hilfe und Methode
Schritt = Abschnitt − Überlappung; letzter Teilabschnitt zählt mit. Wiederholung = Überlappung × (Abschnitte − 1). Bytes = Abschnitte × Dimensionen × Bytes. Ganze Zahlen; Überlappung kleiner als Abschnitt. Korpus ≤10¹²; Abschnitt ≤10⁷; Dimensionen ≤10⁶; Bytes 1–16.
Tokenzählung und UmfangMethoden und VerlässlichkeitDurchgerechnetes Beispiel
Ein Beispiel zum Ausprobieren oder Anpassen an deine Werte.
- Korpus-Tokens
- 1000
- Tokens je Abschnitt
- 400
- Überlappende Tokens
- 100
- Vektordimensionen
- 3
- Bytes je Dimension
- 4
Ergebnis
1000 Tokens, Abschnitt 400, Überlappung 100, 3 Dimensionen, 4 Bytes → 3 Abschnitte, 1200 Tokens, 36 Bytes.