Merencanakan RAG: perkirakan potongan, tumpang tindih, dan ukuran vektor
Perkiraan potongan dan ukuran vektor membantu merencanakan koleksi pengetahuan yang dapat ditelusuri. Bandingkan pengaturan untuk memahami teks yang diproses dan penyimpanan mentah, lalu uji kualitas pencarian serta ukuran indeks sebenarnya pada sampel yang mewakili koleksi.
Tumpang tindih punya biaya dan kemungkinan manfaat
Pemotongan membuat bagian lebih kecil untuk diproses. Tumpang tindih menjaga teks bersama di batas, tetapi memprosesnya lagi. Tidak ada proporsi ideal untuk semua dokumen dan pertanyaan.
Materi mungkin memerlukan batas paragraf atau judul, bukan jendela tetap. Uji pertanyaan yang mewakili kebutuhan pada koleksi kecil, bukan menganggap makin banyak potongan makin baik.
Referensi: Microsoft — Chunking strategies and overlap trade-offs
Kalkulator mengasumsikan satu aliran berkelanjutan
ToolRoof memodelkan korpus berkelanjutan, jendela tetap, dan potongan terakhir yang mungkin lebih pendek. Langkahnya adalah ukuran dikurangi tumpang tindih; tumpang tindih harus lebih kecil daripada jendela.
Batas dokumen tidak dimodelkan. Memotong 100 dokumen pendek secara terpisah bisa berbeda dari menggabungkan jumlah tokennya. Alat tidak mengunggah teks atau membuat embedding; Anda memasukkan jumlah token.
Sebut ukuran mentah sebagai ukuran mentah
Ukuran mentah adalah jumlah vektor × dimensi × byte per dimensi. Indeks menambah struktur; teks, metadata, replika, dan beban pembaruan tidak seluruhnya termasuk.
Perubahan dimensi atau representasi harus cocok dengan model embedding dan basis data. Angka ini tidak membuktikan akurasi pencarian, biaya hosting, atau kualitas jawaban.
Contoh: 2500 token dan 4 jendela
Dengan 2500 token, jendela 800, dan tumpang tindih 200, langkahnya 600. Panjangnya 800, 800, 800, dan 700: total 3100 token diproses, termasuk 600 pengulangan. Ini model hitungan, bukan hasil menjalankan RAG.
Jika setiap vektor memiliki 384 dimensi dengan 4 byte per dimensi, ukuran mentah 4 vektor adalah 6144 byte, atau 6 KiB. Tanpa tumpang tindih, contoh ini tetap punya 4 potongan tetapi hanya 2500 token input embedding. Ukuran mentah sama tidak membuktikan kualitas pencarian sama.