तय मासिक कीमत या प्रति टोकन शुल्क वाले एलएलएम एपीआई: अनलिमिटेड इस्तेमाल कब फ़ायदेमंद है

टोकन का बिल आपकी उम्मीद से तेज़ क्यों बढ़ता है

चैट मॉडल पिछली बातचीत अपने पास नहीं रखते: हर रिक्वेस्ट में पूरी बातचीत भेजी जाती है। अगर किसी चैट की हिस्ट्री 50,000 टोकन तक पहुँच गई है, तो अगले मैसेज के साथ वही 50,000 टोकन फिर भेजे जाते हैं, और उसके बाद वाले मैसेज के साथ भी। ज़्यादातर बिलों में सबसे बड़ा हिस्सा जवाबों के बजाय इनपुट टोकन का होता है।

हिसाब के साथ तीन उदाहरण

इन उदाहरणों में सिर्फ़ टोकन गिने गए हैं; बिल निकालने के लिए टोकन की संख्या को दस लाख से भाग दें और फिर किसी भी प्रोवाइडर की प्रति दस लाख टोकन की कीमत से गुणा करें।

जब हर महीने करोड़ों से लेकर कई दसियों करोड़ टोकन इस्तेमाल होते हैं, तो प्रति टोकन कम कीमत होने पर भी खर्च तेज़ी से बढ़ता है, और आपको महीने के आखिर में ही इसका पता चलता है। जहाँ प्रॉम्प्ट कैशिंग पर छूट मिलती है, वहाँ कुछ बचत होती है, लेकिन यह छूट प्रोवाइडर के हिसाब से अलग होती है और आम तौर पर कैश किए गए टोकन का भी शुल्क लगता है।

तय मासिक कीमत से क्या बदलता है

• खर्च पहले से पता होता हैआप दस मैसेज भेजें या दस हज़ार, कीमत एक ही रहती है।
• इस्तेमाल में कटौती की ज़रूरत नहींपैसे बचाने के लिए आपको कॉन्टेक्स्ट छोटा करने या जवाब दोबारा जनरेट करने से बचने की ज़रूरत नहीं पड़ती; ऐसी कटौती से ही अक्सर आउटपुट की क्वालिटी घटती है।
• सीमा एक साथ चलने वाली रिक्वेस्ट पर है, कुल इस्तेमाल पर नहींआपका प्लान तय करता है कि एक साथ कितनी रिक्वेस्ट चल सकती हैं। उस सीमा के भीतर इस्तेमाल अनलिमिटेड है।

प्रति टोकन शुल्क कब ज़्यादा फ़ायदेमंद है

सीधी बात: अगर आप हफ़्ते में गिनी-चुनी छोटी रिक्वेस्ट भेजते हैं, तो इस्तेमाल के हिसाब से भुगतान सस्ता पड़ेगा। अगर बैच प्रोसेसिंग के लिए आपको एक साथ दर्जनों रिक्वेस्ट चलानी हैं, तो प्रति टोकन शुल्क वाले प्रोवाइडर ज़्यादा रिक्वेस्ट एक साथ चला सकते हैं। तय मासिक कीमत तब फ़ायदेमंद है जब आप लगातार बातचीत या लंबे कॉन्टेक्स्ट के साथ काम करते हैं: जैसे रोलप्ले, लेखन, कोडिंग एजेंट और रिसर्च।

Unquant की कीमतें कैसे तय होती हैं

हर प्लान में अनलिमिटेड टोकन और मैसेज शामिल हैं; प्लान के अनुसार मॉडल, कॉन्टेक्स्ट विंडो और एक साथ चलने वाली स्ट्रीम की संख्या अलग होती है। सभी प्लान देखें।