Geliştirici araçları
RAG boyut tahmini
Örtüşen parçaları ve ham vektör depolamasını tahmin edin.
Yerel olarak işlenir
Kesintisiz bir derlem tahmini; belge sınırları, dizin meta verisi, kopyalar ve dolgu hariçtir.
Yanıtınız burada görünecek.
Yardım ve yöntem
Adım = parça − örtüşme; son kısmi parça dahildir. Tekrar = örtüşme × (parça − 1). Bayt = parçalar × boyut × bayt. Tam sayılar; örtüşme parçadan küçük. Derlem ≤10¹²; parça ≤10⁷; boyut ≤10⁶; bayt 1–16.
Token sayımı ve kapsamıYöntemler ve güvenilirlikÇözülmüş örnek
Deneyebileceğiniz veya kendi değerlerinize uyarlayabileceğiniz bir örnek.
- Derlem tokenı
- 1000
- Parça tokenı
- 400
- Örtüşme tokenı
- 100
- Vektör boyutu
- 3
- Boyut başına bayt
- 4
Sonuç
1000 token, 400 parça, 100 örtüşme, 3 boyut, 4 bayt → 3 parça, 1200 token, 36 bayt.