Planifier un RAG : estimer passages, chevauchement et taille des vecteurs
Estimer les passages et la taille des vecteurs aide à préparer une collection de connaissances interrogeable. Comparez les réglages pour comprendre le texte traité et le stockage brut, puis évaluez la recherche et la taille réelle de l’index sur un échantillon représentatif.
Un coût et un bénéfice possible du chevauchement
Le découpage permet de traiter de plus petites parties. Le chevauchement conserve du texte commun aux frontières, mais le traite de nouveau. Aucun taux n’est idéal pour tous les documents et toutes les questions.
Des limites de paragraphes ou de titres peuvent mieux convenir que des fenêtres fixes. Évaluez des questions représentatives sur une petite collection plutôt que de supposer que davantage de passages est préférable.
Références: Microsoft — Chunking strategies and overlap trade-offs
Le calcul suppose un flux continu
ToolRoof modélise un corpus continu, des fenêtres fixes et un dernier passage éventuellement plus court. Le pas est la taille moins le chevauchement ; celui-ci doit être inférieur à la fenêtre.
Les frontières des documents ne sont pas modélisées. Découper 100 documents courts séparément peut différer d’un flux regroupant leurs tokens. L’outil n’envoie aucun corpus et ne produit pas d’embeddings ; vous saisissez le compte.
Nommer le volume brut comme tel
Le volume brut vaut vecteurs × dimensions × octets par dimension. L’index ajoute des structures ; texte, métadonnées, répliques et surcharge de mise à jour ne sont pas tous inclus.
Modifier dimensions ou représentation doit convenir au modèle d’embeddings et à la base. Le résultat ne prouve ni précision de recherche, ni coût d’hébergement, ni qualité de réponse.
Références: Microsoft — Raw vector size and index overhead
Exemple : 2500 tokens et 4 fenêtres
Avec 2500 tokens, une fenêtre de 800 et un chevauchement de 200, le pas est de 600. Les longueurs sont 800, 800, 800 et 700 : 3100 tokens traités, dont 600 répétés. C’est un modèle, pas un test de système RAG.
À 384 dimensions et 4 octets par dimension, les 4 vecteurs occupent 6144 octets bruts, soit 6 KiB. Sans chevauchement, cet exemple garde 4 passages, mais seulement 2500 tokens d’entrée pour les embeddings. Un même volume brut ne prouve pas une qualité de recherche équivalente.