Bağlam bütçesi: yanıt için de yer ayırın
Girdi sınırın altındayken bir belge daha sığacak gibi görünebilir. Ancak yanıt da alan ister. Bağlam bütçesi, istek kalabalıklaşmadan ayrılan yerleri görünür kılar.
Kapasitenin tamamı belgelere ayrılmaz
Modelin hem bağlam penceresini hem çıktı sınırını kontrol edin. Modele göre ortak alan girdi, çıktı ve akıl yürütme tokenlarını içerir; boş yer olması ayrı çıktı sınırını kaldırmaz.
Kapasiteyi, girdiyi, yanıt için ayrılan payı ve henüz sayılmamış ek yükü girin. Bunlar planlama değerleridir; metni otomatik saymaz veya modele ayar göndermez.
Kaynaklar: OpenAI — Context windows and output limits
Talimatları ve araçları iki kez saymayın
Girdi sayısı talimatları ve araç tanımlarını zaten içeriyorsa bunları ek yük olarak yeniden eklemeyin. Yalnızca bir paragrafı saymak ise bu öğeleri kapsamayabilir.
Her sayının kapsamını not edin: örneğin girdi belge ve soruyu, ek yük henüz ölçülmemiş talimatları içerir. Sonuç pozitif görünsün diye payı rastgele değiştirmeyin.
Kalan yer, kalite garantisi değildir
Toplam kapasiteyi aşıyorsa göreve uygun biçimde içeriği veya yanıt payını azaltıp yeniden ölçün. Sırf küçültmek için önemli bir talimatı silmeyin.
Pozitif bakiye tüm bölümlerin doğru kullanılacağını, yanıtın doğru veya kesintisiz olacağını kanıtlamaz. Boşluk doldurmak yerine ilgili içeriği seçip yanıtı değerlendirin.
Örnek: ek bölüm ayrılan alanı tüketiyor
12000 token kapasitede 7200 girdi, 3000 yanıt payı ve henüz sayılmamış 600 ek yük olsun. Toplam 10800, kalan 1200’dür. Kapasite varsayımsaldır, bir modelin özelliği değildir.
1800 token eklenirse girdi 9000, toplam 12600 olur; sınır 600 aşılır. Talimatların 600 tokenı girdiye zaten dahilse ek yükü 0 girin. Sayım kapsamını düzeltin, taşmayı gizlemeyin.