Planificar RAG: estima fragmentos, solapamiento y tamaño de vectores
Estimar fragmentos y tamaño de vectores ayuda a planificar una colección de conocimiento consultable. Compara configuraciones para entender el texto procesado y el almacenamiento bruto; después evalúa la recuperación y el tamaño real del índice con una muestra representativa.
El solapamiento tiene coste y un posible beneficio
Fragmentar permite procesar partes menores. Solapar conserva texto común entre límites, pero lo procesa otra vez. No existe una proporción ideal para cualquier documento y pregunta.
El contenido puede necesitar límites de párrafo o título, no ventanas fijas. Evalúa preguntas representativas en una colección pequeña, en vez de suponer que más fragmentos son mejores.
Referencias: Microsoft — Chunking strategies and overlap trade-offs
La calculadora supone un flujo continuo
ToolRoof modela un conjunto continuo de tokens, ventanas fijas y un último fragmento posiblemente menor. El paso es tamaño menos solapamiento; este debe ser menor que la ventana.
No modela límites entre documentos. Dividir 100 documentos cortos por separado puede diferir de sumar sus tokens en un flujo. La herramienta no sube textos ni crea embeddings; introduces el recuento.
Llama tamaño bruto al tamaño bruto
El tamaño bruto es vectores × dimensiones × bytes por dimensión. El índice añade estructuras; texto, metadatos, réplicas y sobrecarga de actualizaciones no están todos incluidos.
Cambiar dimensiones o representación debe ser compatible con el modelo de embeddings y la base. La cifra no demuestra precisión de búsqueda, coste de alojamiento ni calidad de respuesta.
Referencias: Microsoft — Raw vector size and index overhead
Ejemplo: 2500 tokens y 4 ventanas
Con 2500 tokens, ventana de 800 y solapamiento de 200, el paso es 600. Las longitudes son 800, 800, 800 y 700: se procesan 3100 tokens, incluidos 600 repetidos. Es un modelo, no una ejecución de RAG.
Con 384 dimensiones y 4 bytes por dimensión, los 4 vectores ocupan 6144 bytes brutos, es decir, 6 KiB. Sin solapamiento siguen siendo 4 fragmentos en este ejemplo, pero solo 2500 tokens de entrada a embeddings. Igual tamaño bruto no significa igual calidad de recuperación.