RAG planlama: parça sayısını, örtüşmeyi ve vektör boyutunu tahmin edin
Parça sayısını ve vektör boyutunu tahmin etmek, aranabilir bir bilgi koleksiyonunu planlamayı kolaylaştırır. İşlenen metni ve ham depolamayı görmek için ayarları karşılaştırın; ardından bilgi getirme kalitesini ve gerçek indeks boyutunu temsili bir örnek üzerinde sınayın.
Örtüşmenin maliyeti ve olası faydası vardır
Parçalama daha küçük bölümleri işlemeyi sağlar. Örtüşme sınırda ortak metni korur, fakat onu yeniden işler. Her belge ve soru için ideal tek oran yoktur.
İçerik sabit pencereler yerine paragraf veya başlık sınırları gerektirebilir. Daha çok parça daha iyidir varsayımı yerine küçük koleksiyonda temsilî soruları değerlendirin.
Kaynaklar: Microsoft — Chunking strategies and overlap trade-offs
Hesaplayıcı tek kesintisiz akış varsayar
ToolRoof kesintisiz token topluluğu, sabit pencereler ve gerekirse daha kısa son parça modeller. Adım, pencere boyutu eksi örtüşmedir; örtüşme pencereden küçük olmalıdır.
Belge sınırları modellenmez. 100 kısa belgeyi ayrı parçalamak, tokenlarını tek akışta toplamaktan farklı olabilir. Araç metin yüklemez veya gömme vektörü üretmez; token sayısını siz girersiniz.
Ham boyutu gerçek adıyla belirtin
Ham boyut vektör sayısı × boyut sayısı × boyut başına bayttır. İndeks ek yapılar kullanır; metin, üstveri, kopyalar ve güncelleme yükü tamamen dahil değildir.
Boyut sayısı veya gösterim değişikliği gömme modeline ve veritabanına uygun olmalıdır. Sonuç arama doğruluğunu, barındırma maliyetini veya yanıt kalitesini kanıtlamaz.
Örnek: 2500 token ve 4 pencere
2500 token, 800’lük pencere ve 200 örtüşmede adım 600’dür. Uzunluklar 800, 800, 800 ve 700 olur: 600’ü tekrar olmak üzere 3100 token işlenir. Bu, çalıştırılmış RAG sisteminin değil hesap modelinin sonucudur.
Her vektör 384 boyut ve her boyut 4 baytsa, 4 vektörün ham boyutu 6144 bayt, yani 6 KiB olur. Örtüşme sıfır olduğunda bu örnekte yine 4 parça vardır, ancak gömme girdisi 2500 tokendır. Aynı ham boyut aynı erişim kalitesi demek değildir.