Planeje o RAG: estime trechos, sobreposição e tamanho dos vetores
Estimar trechos e tamanho dos vetores ajuda a planejar uma coleção de conhecimento pesquisável. Compare configurações para entender o texto processado e o armazenamento bruto; depois avalie a recuperação e o tamanho real do índice com uma amostra representativa.
Sobreposição tem custo e possível benefício
Dividir o texto permite processar partes menores. A sobreposição mantém texto comum nas bordas, mas o processa novamente. Nenhuma proporção é ideal para todos os documentos e perguntas.
O conteúdo pode precisar de limites de parágrafos ou títulos, não de janelas fixas. Avalie perguntas representativas em uma coleção pequena, em vez de presumir que mais trechos são melhores.
Referências: Microsoft — Chunking strategies and overlap trade-offs
A calculadora pressupõe um fluxo contínuo
O ToolRoof modela um conjunto contínuo de tokens, janelas fixas e um último trecho que pode ser menor. O passo é tamanho menos sobreposição; esta deve ser menor que a janela.
Limites entre documentos não são modelados. Dividir 100 documentos curtos separadamente pode diferir de somar os tokens em um fluxo. A ferramenta não envia textos nem cria embeddings; você informa a contagem.
Chame tamanho bruto de tamanho bruto
O tamanho bruto é vetores × dimensões × bytes por dimensão. O índice adiciona estruturas; texto, metadados, réplicas e sobrecarga de atualizações não estão todos incluídos.
Mudar dimensões ou representação precisa ser compatível com o modelo de embeddings e a base. O número não comprova precisão de busca, custo de hospedagem ou qualidade da resposta.
Referências: Microsoft — Raw vector size and index overhead
Exemplo: 2500 tokens e 4 janelas
Com 2500 tokens, janela de 800 e sobreposição de 200, o passo é 600. Os comprimentos são 800, 800, 800 e 700: 3100 tokens processados, incluindo 600 repetidos. É um modelo, não a execução de um sistema RAG.
Com 384 dimensões e 4 bytes por dimensão, os 4 vetores têm tamanho bruto de 6144 bytes, ou 6 KiB. Sem sobreposição continuam 4 trechos neste exemplo, mas apenas 2500 tokens para embeddings. Mesmo tamanho bruto não significa mesma qualidade de recuperação.