AI टोकन, संदर्भ और लागत: बिल से पहले योजना बनाएँ
लंबा दस्तावेज़ भेजने से पहले दो सवाल हैं: क्या समाएगा और कितना खर्च हो सकता है? शब्द-गिनती अकेले पर्याप्त नहीं; प्रसंस्करण और अक्सर कीमत की इकाई टोकन है।
टोकन कोई निश्चित शब्द नहीं है
टोकनाइज़र मॉडल से जुड़ी शब्दावली और नियमों से पाठ बाँटता है। शब्द एक इकाई रह सकता है या कई भाग बन सकता है। हर भाषा और मॉडल के लिए एक शब्द-से-टोकन अनुपात नहीं है।
सटीक गिनती उसी टोकनाइज़र का वर्णन करती है। अलग मॉडल, संदेश-रूप, निर्देश या टूल परिभाषा पूरे अनुरोध की संख्या बदल सकती है।
उत्तर के लिए जगह बचाएँ
इनपुट और आउटपुट का संयुक्त संदर्भ हो तो निर्देश, इतिहास और संलग्न सामग्री गिनें, फिर उत्तर और अतिरिक्त जगह रखें। अलग इनपुट/आउटपुट सीमा हो तो जाँचें; वे मॉडल और मोड पर निर्भर हैं।
काल्पनिक 16000 टोकन सीमा में 10000 इनपुट और 2000 आरक्षित आउटपुट हों तो 4000 जगह बचती है। अकेला 16000 टोकन दस्तावेज़ बाकी अनुरोध के लिए जगह नहीं छोड़ता।
संदर्भ: Google AI for Developers — Understand and Count Tokens
जिस चीज़ का बिल आता है उसे गिनें
इनपुट और आउटपुट दर स्पष्ट इकाई में लें, जैसे प्रति दस लाख टोकन। मॉडल और कीमत की तारीख लिखें। यह API उपयोग का अनुमान है, मासिक चैट सदस्यता नहीं।
कैश, तर्क, मीडिया या टूल की अलग श्रेणी हो सकती है। भेजे या दिखे हर टोकन को एक बिल श्रेणी मानने के बजाय वास्तविक उपयोग विवरण देखें।
संदर्भ: Google AI for Developers — Understand and Count Tokens
काम के संदर्भ से पहले बर्बादी घटाएँ
अनचाहा दोहराव हटाएँ और हर बार पूरा संग्रह भेजने के बजाय संबंधित अंश चुनें। केवल गिनती घटाने के लिए उत्तर बदलने वाले तथ्य न हटाएँ। दस्तावेज़ खोज में खंड और वेक्टर संख्या संसाधन का अनुमान है, खोज-गुणवत्ता की गारंटी नहीं।
काल्पनिक दरों का उदाहरण, प्रदाता का भाव नहीं
8000 इनपुट टोकन को प्रति दस लाख 2 USD और 1000 आउटपुट को प्रति दस लाख 6 USD मानें। लागत = 8000 ÷ 1000000 × 2 + 1000 ÷ 1000000 × 6 = प्रति अनुरोध 0.022 USD।
समान 100 अनुरोध केवल इन मान्यताओं पर 2.20 USD होंगे, अन्य शुल्क या दोबारा कोशिश के बिना। खर्च से पहले दर और संख्या को वास्तविक माप से बदलें।