تخطيط RAG: قدّر المقاطع والتداخل وحجم المتجهات
يساعدك تقدير المقاطع وحجم المتجهات على التخطيط لمجموعة معرفة قابلة للبحث. قارن إعدادات التقسيم لتفهم مقدار النص المعالج والتخزين الخام، ثم اختبر جودة الاسترجاع وحجم الفهرس الفعلي على عينة ممثلة.
التداخل قرار له تكلفة وفائدة محتملة
تقسيم النص يسمح بمعالجة أجزاء أصغر. التداخل يحتفظ بجزء مشترك عند حدود المقاطع، لكنه يكرر نصًا ستعالجه مرة أخرى؛ لا توجد نسبة مثالية لكل أنواع المحتوى والأسئلة.
قد يحتاج النص إلى حدود الفقرات أو العناوين بدل تقطيع آلي ثابت. جرّب أسئلة ممثلة على مجموعة صغيرة لتقييم ما يُسترجع، لا تختَر الإعداد الأكبر اعتمادًا على عدد المقاطع فقط.
المراجع: Microsoft — Chunking strategies and overlap trade-offs
الحاسبة تفترض شريطًا واحدًا من التوكنات
تقدير ToolRoof يستخدم مجموعة متصلة، ومقاطع ثابتة، ومقطعًا أخيرًا قد يكون أقصر. خطوة الانتقال تساوي حجم المقطع ناقص التداخل، ولذلك يجب أن يكون التداخل أصغر من المقطع.
حدود المستندات غير ممثلة: تقسيم 100 مستند قصير كل واحد وحده قد يعطي نتيجة مختلفة عن دمج عدد توكناتها في شريط واحد. الأداة لا ترفع مجموعة النصوص ولا تنشئ متجهات تضمين؛ تدخل عدد التوكنات بنفسك.
احسب البايتات الخام ثم سمّها كما هي
الحجم الخام يساوي عدد المتجهات × الأبعاد × بايتات كل بُعد. أما فهرس البحث فيضيف بنى أخرى؛ حجم النص والبيانات الوصفية والنسخ وعبء التحديث ليست كلها داخلة في هذا الرقم.
تغيير الأبعاد أو طريقة التمثيل ليس مجرد زر لتوفير مساحة؛ يجب أن يناسب نموذج التضمين وقاعدة البيانات. التقدير لا يثبت دقة البحث أو كلفة الاستضافة أو جودة الإجابة.
مثال: 2500 توكن وأربعة مقاطع
لعدد 2500 توكن، ومقطع 800، وتداخل 200، تكون الخطوة 600. أطوال المقاطع الناتجة 800 و800 و800 و700؛ المجموع 3100، منها 600 توكن مكررة. هذه أعداد من نموذج التقسيم، لا نتيجة تشغيل نظام RAG.
إذا كان لكل مقطع متجه من 384 بُعدًا، وكل بُعد 4 بايت، فالحجم الخام 6144 بايت، أي 6 KiB. مع تداخل صفر يبقى العدد في هذا المثال 4 مقاطع لكن المدخلات تصبح 2500 توكن؛ ثبات الحجم الخام لا يعني تكافؤ جودة الاسترجاع.