RAG planen: Abschnitte, Überlappung und Vektorgröße abschätzen
Eine Schätzung der Abschnitte und Vektorgröße erleichtert die Planung einer durchsuchbaren Wissenssammlung. Vergleichen Sie Einstellungen für Textmenge und Rohspeicherbedarf und prüfen Sie anschließend Suchqualität und tatsächliche Indexgröße an einer repräsentativen Stichprobe.
Überlappung hat Kosten und möglichen Nutzen
Aufteilen schafft kleinere Verarbeitungseinheiten. Überlappung bewahrt gemeinsamen Text an Grenzen, verarbeitet ihn aber erneut. Kein Anteil ist für alle Dokumente und Fragen ideal.
Inhalte können Absatz- oder Überschriftsgrenzen statt fester Fenster benötigen. Prüfen Sie repräsentative Fragen an einer kleinen Sammlung, statt mehr Abschnitte grundsätzlich für besser zu halten.
Quellen: Microsoft — Chunking strategies and overlap trade-offs
Der Rechner nimmt einen fortlaufenden Strom an
ToolRoof modelliert einen zusammenhängenden Tokenbestand, feste Fenster und einen möglicherweise kürzeren letzten Abschnitt. Die Schrittweite ist Fenstergröße minus Überlappung; diese muss kleiner als das Fenster sein.
Dokumentgrenzen sind nicht modelliert. 100 kurze Dokumente einzeln aufzuteilen kann anders ausfallen als ihre Tokens als einen Strom zu behandeln. Das Werkzeug lädt keine Texte hoch und erzeugt keine Embeddings; Sie geben die Tokenzahl ein.
Rohgröße auch als Rohgröße bezeichnen
Rohgröße ist Vektorzahl × Dimensionen × Bytes je Dimension. Der Index fügt Strukturen hinzu; Text, Metadaten, Replikate und Aktualisierungsaufwand sind nicht vollständig enthalten.
Andere Dimensionen oder Darstellungen müssen zum Embedding-Modell und zur Datenbank passen. Die Zahl beweist weder Suchgenauigkeit noch Hostingkosten oder Antwortqualität.
Beispiel: 2500 Tokens und 4 Fenster
Bei 2500 Tokens, 800 Fenstergröße und 200 Überlappung ist die Schrittweite 600. Die Längen lauten 800, 800, 800 und 700: 3100 verarbeitete Tokens, darunter 600 Wiederholungen. Das ist ein Rechenmodell, kein RAG-Systemtest.
Mit 384 Dimensionen und 4 Bytes je Dimension haben die 4 Vektoren 6144 Bytes Rohgröße, also 6 KiB. Ohne Überlappung bleiben es in diesem Beispiel 4 Abschnitte, aber nur 2500 Embedding-Eingabe-Tokens. Gleiche Rohgröße bedeutet nicht gleiche Suchqualität.