अनियंत्रित मॉडल्स में टोकन गिनती को समझना
प्रत्येक खंड की पहली वाक्य उस शीर्षक में पूछे गए प्रश्न का उत्तर देता है। टोकन गणना किसी भी LLM प्रॉक्सी के लिए बिलिंग की मौलिक इकाई है। आप प्रॉम्प्ट में भेजे गए हर टोकन और उत्तर में जनरेट किए गए हर टोकन के लिए भुगतान करते हैं। इसमें सिस्टम निर्देश, बातचीत का इतिहास और फॉर्मेटिंग वर्ण शामिल हैं।
अक्सर डेवलपर्स यह मानते हैं कि केवल दृश्यमान टेक्स्ट ही मायने रखता है। यह गलत है। हर स्पेस, न्यूलाइन और JSON ब्रैकेट टोकन खपत करता है। जब आप एक uncensored मॉडल का उपयोग करते हैं, तो कॉन्टेक्स्ट विंडो तेजी से भरी जाती है क्योंकि इन मॉडल्स में सहेज फिल्टर के बिना सहजता बनाए रखने के लिए अक्सर अधिक विस्तृत तर्क की आवश्यकता होती है।
हमारा API $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन चार्ज करता है। यह दर वास्तविक टोकन उपयोग पर लागू होती है। त्रुटियों के लिए आपको चार्ज नहीं किया जाता है। रिफ्यूज़ल फ्री हैं। यह संरचना सुनिश्चित करती है कि आप केवल वास्तविक कंप्यूटेशन के लिए भुगतान करें।
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- अपने सिस्टम प्रॉम्प्ट में हर अक्षर गिनें।
- अपने इनपुट गणना में संवाद इतिहास शामिल करें।
- JSON फॉर्मेटिंग ओवरहेड के लिए खाता।
- बड़े पेलोड भेजने से पहले टोकन गिनती की पुष्टि करें।
संदर्भ विंडो फंसना: 100k इनपुट बनाम 16k आउटपुट
हमारा API 100,000 टोकन की कॉन्टेक्स्ट विंडो प्रदान करता है, लेकिन आप प्रति अनुरोध केवल 16,000 टोकन ही जनरेट कर सकते हैं। यह असममिति उन उपयोगकर्ताओं के लिए एक बिलिंग ट्रैप बनाती है जो अनंत आउटपुट की धारणा रखते हैं।
यदि आपका प्रॉम्प्ट 90,000 टोकन खपत करता है, तो आपके पास आउटपुट के लिए केवल 10,000 टोकन शेष हैं। यदि आप 16,000 टोकन का अधिकतम अनुरोध करते हैं, तो मॉडल जल्दी रुक जाएगा। आप वास्तव में जनरेट किए गए टोकन के लिए भुगतान करेंगे। यह कोई बग नहीं है। यह बड़े संदर्भ विंडो की एक सुविधा है।
अक्सर उपयोगकर्ता max_tokens को बहुत अधिक सेट करके क्रेडिट बर्बाद करते हैं। यदि मॉडल संदर्भ से बाहर हो जाता है, तो यह स्वाभाविक रूप से रुक जाता है। आप उसके द्वारा उत्पादित के लिए भुगतान करते हैं। आप उस के लिए भुगतान नहीं करते जिसे वह उत्पादित नहीं कर सका।
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)हमेशा अपने शेष संदर्क्षण की निगरानी करें। वर्तमान सीमाओं की पुष्टि करने के लिए /v1/models एंडपॉइंट का उपयोग करें। आउटपुट के लिए जगह छोड़ने के लिए अपने प्रॉम्प्ट लंबाई को समायोजित करें। यह अप्रत्याशित चार्ज से बचाता है जो ट्रंकेटेड प्रतिक्रियाओं से होते हैं।
स्ट्रीमिंग रिस्पॉन्स और अंतिम चंक बिलिंग
स्ट्रीमिंग कुल लागत को नहीं बदलती। आप टोकनों के लिए वही भुगतान करते हैं चाहे वे तुरंत प्राप्त हों या एक साथ। अंतर उपयोग की निगरानी के तरीके में है।
जब आप स्ट्रीम करते हैं, तो आपको कई चंक मिलते हैं। प्रत्येक चंक में प्रतिक्रिया का एक हिस्सा होता है। अंतिम चंक में टोकन उपयोग सारांश होता है। यहीं पर आप सटीक टोकन गणना की जांच करते हैं।
कुछ प्रॉक्सी प्रति चंक शुल्क लेते हैं। हमारा नहीं लेता है। हम जनरेट किए गए कुल टोकन के लिए शुल्क लेते हैं। स्ट्रीमिंग मोड उपयोगकर्ता अनुभव के लिए है, बिलिंग दक्षता के लिए नहीं।
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)- रियल-टाइम UI अपडेट्स के लिए स्ट्रीम करें।
- बिलिंग के लिए मध्यवर्ती खंडों को अनदेखा करें।
- टोकन गणना के लिए अंतिम चंक पढ़ें।
- उपयोग की पुष्टि करें कि आपकी अपेक्षाओं से मेल खाता है।
टूल उपयोग में फंक्शन कॉलिंग ओवरहेड
फंक्शन कॉलिंग ओवरहेड जोड़ता है क्योंकि टूल परिभाषाएं हर अनुरोध में दोहराई जाती हैं। हर बार जब आप एक फंक्शन कॉल करते हैं, तो मॉडल को टूल स्कीमा फिर से पढ़ना पड़ता है।
यदि आपके पास पास टूल्स हैं, जिनमें से प्रत्येक की परिभाषाओं के लिए 1,000 टोकन हैं, तो आप हर अनुरोध में 5,000 टोकन जोड़ते हैं। इससे आपकी इनपुट लागत काफी बढ़ जाती है। लंबी बातचीत के लिए, यह ओवरहेड जमा होता जाता है।
हमारा API टूल्स और टूल_चॉइस के साथ फंक्शन कॉलिंग का समर्थन करता है। आप टूल जटिलता को कम करके अनुकूलन कर सकते हैं। संबंधित टूल्स को एकल स्कीमा में जोड़ें। इससे प्रति अनुरोध टोकन गिनती कम हो जाती है।
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);अपनी टोकन खपत की सावधानी से निगरानी करें। उच्च फंक्शन कॉल वॉल्यूम आपकी इनपुट लागत को दोगुना कर सकते हैं। यदि संभव हो तो टूल परिभाषाओं के लिए कैशिंग का उपयोग करें। यह आपके पूर्व-भुगतान क्रेडिट को लंबे समय तक चलने में मदद करता है।
रिफ्यूजल मुफ्त क्यों होते हैं लेकिन रीट्राइज नहीं
अस्वीकृतियां मुफ्त हैं क्योंकि कोई टोकन जनरेट नहीं किए गए थे। यदि मॉडल सामग्री या प्रारूप के कारण अनुरोध को अस्वीकार करता है, तो आपको कुछ नहीं चुकाना पड़ता। यह प्रीपेड बिलिंग की एक प्रमुख सुविधा है।
पुनः प्रयास मुफ्त नहीं हैं। यदि आप एक अनुरोध भेजते हैं और त्रुटि आती है, तो आपको पुनः प्रयास करना पड़ सकता है। प्रत्येक पुनः प्रयास टोकन खपत करता है। त्रुटियां मुफ्त हैं, लेकिन पुनः प्रयास नहीं।
हमारा API केवल वास्तविक टोकन उपयोग के लिए चार्ज करता है। यदि एक अनुरोध टोकन जनरेशन से पहले विफल हो जाता है, तो आप कुछ भी नहीं भुगतते हैं। यदि यह बाद में विफल होता है, तो आप जो जनरेट किया गया है उसके लिए भुगतान करते हैं। यह पारदर्शिता छिपे शुल्कों को रोकती है।
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- अस्वीकृतियों से शून्य क्रेडिट खर्च होता है।
- पुनः प्रयास आपके बजट को खपत करते हैं।
- त्रुटियाँ मुफ्त हैं यदि कोई टोकन जनरेट नहीं किया गया है।
- दक्षता को अनुकूलित करने के लिए पुनः प्रयासों (retries) की निगरानी करें।
JSON मोड फॉर्मेटिंग लागत
JSON मोड फॉर्मेटिंग लागत मानक टेक्स्ट मोड के समान है। आप JSON आउटपुट में टोकन के लिए भुगतान करते हैं। फॉर्मेट में अतिरिक्त शुल्क नहीं जोड़ता है।
हालाँकि, JSON आउटपुट में अक्सर सादे टेक्स्ट की तुलना में अधिक टोकन की आवश्यकता होती है। मॉडल मान्य JSON सुनिश्चित करने के लिए अतिरिक्त व्हाइटस्पेस या कीज़ जोड़ सकते हैं। इससे आपका आउटपुट लागत बढ़ जाती है।
हमारा API response_format के माध्यम से JSON मोड का समर्थन करता है। आप कठोर JSON आउटपुट लागू कर सकते हैं। यह आपके क्लाइंट कोड के साथ संगतता सुनिश्चित करता है। लागत प्रति टोकन है, न कि प्रति फॉर्मेट।
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)अपने JSON स्कीमा को टोकन गणना कम करने के लिए अनुकूलित करें। अनावश्यक कुंजियां हटाएं। छोटे वेरिएबल नामों का उपयोग करें। यह डेटा अखंडता बनाए रखते हुए लागत को न्यूनतम करने में मदद करता है।
प्रॉक्सी लागत की तुलना सीधे विक्रेता कीमतों से
प्रॉक्सी लागत अक्सर सीधे विक्रेता मूल्य से कम होती है क्योंकि आप केवल टोकन के लिए भुगतान करते हैं। सीधे विक्रेता अपटाइम, सहायता या मॉडल वर्जनिंग के लिए शुल्क ले सकते हैं। हमारा एपीआई प्रत्येक 1M इनपुट टोकन के लिए $0.15 और प्रत्येक 1M आउटपुट टोकन के लिए $0.50 शुल्क लेता है।
Anthropic या OpenAI जैसे प्रत्यक्ष विक्रेताओं के पास जटिल मूल्य निर्धारण टियर होते हैं। वे अलग-अलग मॉडल के लिए अलग-अलग दरें लगा सकते हैं। हमारी API एकल अनकेंसर मॉडल प्रदान करती है। इससे बिलिंग सरल हो जाती है।
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);- प्रॉक्सी बिलिंग पारदर्शी और पूर्व-भुगतान है।
- प्रत्यक्ष विक्रेताओं में छिपे शुल्क हो सकते हैं।
- हमारा मॉडल अनसेंसर्ड और ओपन-वेट है।
- टोकन गणना की तुलना करें, न कि केवल कीमतें।
प्रत्येक वार्तालाप में आपकी प्रभावी लागत की गणना
प्रति बातचीत प्रभावी लागत टोकन उपयोग पर निर्भर करती है। भेजे गए और प्राप्त किए गए कुल टोकन की गणना करें। प्रति मिलियन टोकन दर से गुणा करें। यह आपको सटीक लागत देता है।
उदाहरण के लिए, यदि एक बातचीत में 10,000 इनपुट टोकन और 5,000 आउटपुट टोकन का उपयोग होता है, तो लागत $0.0015 + $0.0025 = $0.004 है। यह अधिकांश उपयोगों के लिए नगण्य है।
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'अपने औसत संवाद लंबाई ट्रैक करें। इनपुट टोकन कम करने के लिए प्रॉम्प्ट को अनुकूलित करें। यह आपको लागत की सटीक भविष्यवाणी करने में मदद करता है। पूर्व-भुगतान क्रेडिट कभी समाप्त नहीं होता है, इसलिए आप दीर्घकालिक योजना बना सकते हैं।
प्रीपेड क्रेडिट के साथ डबल-चार्ज होने की गलतियों से बचें
डबल चार्ज दुर्लभ हैं लेकिन संभव हैं। यदि आप क्रिप्टो के माध्यम से टॉप-अप करते हैं, तो सुनिश्चित करें कि आप सही राशि भेजें। हमारी API केवल वास्तविक टोकन उपयोग के लिए चार्ज करती है। गलतियों को सपोर्ट पेज के माध्यम से ठीक किया जाता है।
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)- टॉप अप करने से पहले लेन-देन हैश की जांच करें।
- प्रत्येक अनुरोध के बाद अपने शेष राशि की जांच करें।
- वापसी के लिए तुरंत त्रुटियां रिपोर्ट करें।
- अपने लेन-देन के रिकॉर्ड रखें।
