التوكنات والسياق والتكلفة: خطط لطلب AI دون تخمين الفاتورة
قبل إرسال مستند طويل إلى نموذج، تحتاج جوابين مختلفين: هل يتسع له الطلب؟ وكم قد يكلف؟ عدد الكلمات وحده لا يحسم أيًا منهما، لأن وحدة المعالجة والتسعير غالبًا هي التوكن، لا الكلمة.
التوكن ليس كلمة ثابتة
يقسم tokenizer النص وفق مفردات وقواعد مرتبطة بالنموذج؛ قد تبقى كلمة كوحدة أو تنقسم إلى أجزاء. لذلك لا يوجد تحويل ثابت من الكلمات إلى توكنات يصلح لكل اللغات والنماذج.
العد الدقيق لمجزّئ محدد يصف ذلك المجزّئ فقط. إذا غيّرت النموذج، أو أضفت تنسيق رسائل وتعليمات وأدوات، فلا تفترض أن عد النص الخام يساوي عدد الطلب الكامل.
اترك مكانًا للجواب
عند التخطيط لسياق يجمع الإدخال والإخراج، اجمع التعليمات والسجل والمحتوى المرفق، ثم احجز مقدارًا للجواب وهامشًا. تحقق أيضًا من حد الإدخال وحد الإخراج المنفصلين إن وجدا؛ الأرقام تخص النموذج وطريقة استخدامه.
مثال افتراضي: ميزانية سياق 16,000، ومدخل كامل 10,000، وجواب محجوز 2,000، تترك 4,000 هامشًا. وضع مستند من 16,000 وحده لا يترك مكانًا لبقية الطلب.
المراجع: Google AI for Developers — Understand and Count Tokens
التكلفة تعتمد على ما يُحاسب عليه فعلًا
استخدم سعر إدخال وسعر إخراج بوحدة معلنة، مثل مليون توكن. احتفظ بتاريخ السعر واسم النموذج. هذا حساب لاستخدام API، وليس سعر اشتراك دردشة شهري.
قد توجد فئات منفصلة للتخزين المؤقت أو التفكير أو الميديا أو الأدوات. راجع بيان الاستخدام الفعلي بدل الاكتفاء بتقدير النص، ولا تعامل كل ما أرسلته أو رأيته كفئة فوترة واحدة.
المراجع: Google AI for Developers — Understand and Count Tokens
ما الذي يفيد قبل تقليل الجودة؟
احذف التكرار غير المقصود، وأرسل المقاطع ذات الصلة بدل إرفاق الأرشيف كاملًا كل مرة. لا تحذف سياقًا يغير صحة الإجابة لمجرد خفض العداد. وفي البحث داخل المستندات، عدد المقاطع وحجم المتجهات تقدير موارد، لا ضمان جودة الاسترجاع.
مثال تكلفة بأسعار افتراضية، لا تسعيرة مزود
افترض 8000 توكن إدخال بسعر 2 دولار لكل مليون، و1000 توكن إخراج بسعر 6 دولارات لكل مليون. التكلفة = 8000 ÷ 1,000,000 × 2 + 1000 ÷ 1,000,000 × 6 = 0.022 دولار للطلب.
مئة طلب مماثل تساوي 2.20 دولار وفق هذه الفرضيات فقط، دون رسوم أخرى أو إعادة محاولات. استبدل السعر والعدد بقياسك الفعلي قبل اتخاذ قرار إنفاق.