Anggaran konteks: sisakan ruang untuk jawaban
Dokumen lain tampak masih muat karena input belum mencapai batas. Namun jawaban juga memerlukan ruang. Anggaran konteks memperlihatkan pembagian ruang sebelum permintaan terlalu penuh.
Kapasitas bukan hanya ruang dokumen
Periksa jendela konteks dan batas output model. Bergantung model, ruang bersama dapat mencakup input, output, dan token penalaran. Ruang tersisa tidak menghapus batas output tersendiri.
Masukkan kapasitas, input, cadangan jawaban, dan beban tambahan yang belum dihitung. Ini angka perencanaan, bukan pengukuran teks otomatis atau pengaturan yang dikirim ke model.
Referensi: OpenAI — Context windows and output limits
Jangan hitung instruksi dan alat 2 kali
Jika input sudah mencakup instruksi dan definisi alat, jangan tambahkan lagi sebagai beban tambahan. Sebaliknya, hitungan satu paragraf belum tentu mencakup bagian itu.
Catat isi setiap angka: misalnya input berisi dokumen dan pertanyaan, sementara tambahan berisi instruksi yang belum diukur. Jangan mengubah cadangan sembarang hanya agar saldo positif.
Ruang tersisa bukan jaminan kualitas
Jika total melebihi kapasitas, kurangi materi atau cadangan sesuai tugas lalu ukur ulang. Jangan menghapus instruksi penting hanya untuk menghemat ruang.
Saldo positif tidak membuktikan semua bagian akan dipakai dengan benar atau jawaban akan akurat dan tidak terpotong. Pilih materi relevan dan evaluasi jawaban, bukan sekadar mengisi ruang yang tersedia.
Contoh: bagian tambahan menghabiskan cadangan
Misalkan kapasitas 12000 token: input 7200, cadangan jawaban 3000, dan tambahan belum terhitung 600. Totalnya 10800, tersisa 1200. Kapasitas ini hipotetis, bukan spesifikasi model tertentu.
Menambah 1800 token membuat input 9000 dan total 12600: kelebihan 600. Jika instruksi 600 token sudah termasuk input, isi tambahan dengan 0. Perbaiki batas penghitungannya, bukan menyembunyikan kelebihan.