הבנת ספירת טוקנים במודלים ללא הגבלות
המשפט הראשון בכל סעיף עונה על השאלה בכותרת שלו. ספירת טוקנים היא יחידת החיוב הבסיסית בכל פרוקסי LLM. אתה משלם על כל טוקן שנשלח בהנחיה ועל כל טוקן שנוצר בתגובה. זה כולל הוראות מערכת, היסטוריית שיחה ותווים של עיצוב.
מפתחים רבים מניחים שרק הטקסט הנראה חשוב. זה לא נכון. כל רווח, שורה חדשה וסוגריים של JSON צורכים טוקנים. כאשר אתה משתמש במודל ללא צנזורה, חלון ההקשר מתמלא מהר יותר מכיוון שמודלים אלו דורשים לעיתים קרובות נימוח מפורט יותר כדי לשמור על רציפות ללא מסנני בטיחות.
ה-API שלנו גובה $0.15 על כל 1M טוקנים קלט ו-$0.50 על כל 1M טוקנים פלט. שיעור זה חל על שימוש אמיתי בטוקנים. שגיאות אינן גובות ממך כסף. סירובים הם ללא תשלום. מבנה זה מבטיח שאתה משלם רק על חישוב אמיתי.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- ספור כל תו בפומפט המערכת שלך.
- כלול היסטוריית שיחה בספירת הקלט שלך.
- חשבון עבור עודף JSON.
- בדקו ספירת טוקנים לפני שליחת פאיילווד גדולים.
מלכודת חלון ההקשר: 100k קלט מול 16k פלט
ה-API שלנו מספק חלון הקשר של 100,000 טוקנים, אך ניתן לייצר רק 16,000 טוקנים לבקשה. אסימטריה זו יוצאת מלכודת תמחור למשתמשים שמניחים פלט אינסופי.
אם הפומפט שלך צורך 90,000 טוקנים, נותרו לך רק 10,000 טוקנים לפלט. אם תבקש מקסימום של 16,000 טוקנים, הדגם יפסיק מוקדם. עדיין תשלם עבור הטוקנים שנוצרו בפועל. זה לא באג. זו תכונה של חלונות הקשר הגדולים.
משתמשים רבים מבזבזים אשראי על הגדרת max_tokens גבוה מדי. אם המודל נגמר לו ההקשר, הוא נעצר באופן טבעי. אתם משלמים על מה שהוא מייצר. אתם לא משלמים על מה שהוא לא יכל לייצר.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)תמיד עקוב אחר חלון ההקשר הנותר שלך. השתמש בנקודת הקצה /v1/models כדי לאמת את המגבלות הנוכחיות. התאם את אורך הפלט שלך כדי להשאיר מקום לפלט. זה מונע עלויות בלתי צפויות מרספונסים שנחתכו.
תגובות בזרם ותשלום על הנתח הסופי
סטרימינג לא משנה את העלות הכוללת. אתה משלם עבור אותם טוקנים, בין אם אתה מקבל אותם באופן מיידי או בבת אחת. ההבדל הוא באופן שבו אתה עוקב אחר השימוש.
כאשר אתה מזרים, אתה מקבל פיסות מרובות. כל פיסה מכילה חלק מהתגובה. הפיסה הסופית מכילה סיכום שימוש בטוקנים. כאן תוכל לאמת את ספירת הטוקנים המדויקת.
פרוקסיים מסוימים גובים לפי חלק. שלנו לא. אנחנו גובים תמורת סך הטוקנים שנוצרו. מצב הזרם הוא לחוויית המשתמש, לא ליעילות חשבונאות.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)- זרום לעדכונים בזמן אמת לממשק המשתמש.
- התעלם מקטעים ביניים לחיוב.
- קראו את הנתון האחרון לספירת טוקנים.
- אמת שהשימוש תואם את ציפיותיך.
עומס Function calling בשימוש בכלים
פקודות פונקציה מוסיפות עומס משמעותי כי הגדרות הכלים חוזרות בכל בקשה. כל פעם שאתה קורא לפונקציה, המודל צריך לקרוא שוב את סכמת הכלי.
אם יש לך חמש כלים, כל אחד עם 1,000 טוקנים של הגדרות, אתה מוסיף 5,000 טוקנים לכל בקשה. זה מגדיל את עלות הקלט משמעותית. עבור שיחות ארוכות, עודף זה מצטבר.
ה-API שלנו תומך בקריאה לפונקציות עם tools ו-tool_choice. ניתן לייעל על ידי הפחתת מורכבות הכלים. שלב כלים קשורים לתרשימים בודדים. זה מפחית את מניית הטוקנים לכל בקשה.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);נטרו את צריכת הטוקנים שלכם בקפידה. נפח גבוה של קריאות לפונקציות יכול להכפיל את עלויות הקלט שלכם. השתמשו במטמון להגדרות כלי אם אפשר. זה עוזר לשמור על הקרדיט המקומד שלכם מחזיק מעמד זמן רב יותר.
מדוע דחיות הן חינמיות אבל חזרות אינן
סירובים הם חינם כי לא נוצרו אסימונים. אם המודל מסרב לבקשה בשל תוכן או פורמט, אתה לא משלם. זהו יתרון מרכזי של חשבונית מראש.
ניסיונות חוזרים אינם חינם. אם אתה שולח בקשה ומקבל שגיאה, ייתכן שתצטרך לנסות שוב. כל ניסיון חוזר צורך אסימונים. שגיאות הן חינמיות, אך ניסיונות חוזרים אינם.
ה-API שלנו גובה רק על אסימונים אמיתיים. אם בקשה נכשלת לפני יצירת אסימונים, אתה לא משלם כלום. אם היא נכשלת אחרי, אתה משלם על מה שנוצר. שקיפות זו מונעת דמי נסתרים.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- סירובים עולים אפס אשראי.
- ניסיונות חוזרים צורכים את התקציב שלך.
- שגיאות הן בחינם אם לא נוצרו טוקנים.
- מעקב אחר ניסיונות חוזרים כדי לייעל יעילות.
עלויות פורמט מצב JSON
עלויות פורמט מצב JSON זהות למצב טקסט סטנדרטי. אתה משלם עבור הטוקנים בפלט ה-JSON. הפורמט לא מוסיף עלויות נוספות.
עם זאת, פלט JSON דורש לעיתים קרובות יותר טוקנים מטקסט רגיל. מודלים עשויים להוסיף רווחים לבנים או מפתחות נוספים כדי להבטיח JSON תקף. זה מגדיל את עלות הפלט שלכם.
ה-API שלנו תומך במצב JSON דרך response_format. ניתן לאכוף פלט JSON קפדני. זה מבטיח תאימות לקוד הלקוח שלכם. העלות היא לפי טוקן, לא לפי פורמט.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)אופטימיזציה של סכמת ה-JSON שלך כדי להפחית את ספירת הטוקנים. הסר מפתחות מיותרים. השתמש בשמות משתרים קצרים יותר. זה עוזר למזער עלויות תוך שמירה על שלמות הנתונים.
השוואת עלויות Proxy למחירי ספק ישיר
עלויות ה-Proxy לרוב נמוכות יותר ממחירי הספק הישיר כי אתה משלם רק עבור אסימונים. ספקים ישירים עשויים לגבות עבור זמן פעולה, תמיכה או גרסאות מודל. ה-API שלנו גובה $0.15 על כל 1M אסימוני קלט ו-$0.50 על כל 1M אסימוני פלט.
ספקים ישירים כמו Anthropic או OpenAI כוללים דרגות תמחור מורכבות. הם עשויים לגבות שיעורים שונים עבור מודלים שונים. ה-API שלנו מציע מודל לא-מסונן אחד. זה מפשט את החיוב.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);- חיוב ה-Proxy הוא שקוף ומקדים תשלום.
- ספקים ישירים עשויים לכלול עמלות נסתרות.
- המודל שלנו ללא צנזורה ובעל משקל פתוח.
- השוו ספירות טוקנים, לא רק מחירים.
חישוב העלות האפקטיבית שלך לכל שיחה
עלות יעילה לכל שיחה תלויה בשימוש בטוקנים. חשב את סך הטוקנים שנשלחו ונתקבלו. כפול לפי התעריף למיליון טוקנים. זה נותן לך את העלות המדויקת.
לדוגמה, אם שיחה משתמשת ב-10,000 טוקני קלט ו-5,000 טוקני פלט, העלות היא $0.0015 + $0.0025 = $0.004. זה זניח עבור רוב השימושים.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'עקבו אורך השיחה הממוצע שלכם. ייעלו הנחיות כדי להפחית טוקני קלט. זה עוזר לחזות עלויות בצורה מדויקת. קרדיט בתשלום מראש אינו פג תוקף, כך שניתן לתכנן לטווח ארוך.
הימנעות מטעויות של כפולת תשלום עם אשראי מוקדם
חיובים כפולים הם נדירים אך אפשריים. אם אתה מוסיף אשראי באמצעות קריפטו, ודא שאתה שולח את הסכום הנכון. ה-API שלנו גובה תשלום רק על שימוש אמיתי בטוקנים. טעויות מתוקנות דרך דף התמיכה.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)- אמת את חסימי העסקאות לפני ההעלאה.
- בדקו את יתרת החשבון לאחר כל בקשה.
- דווחו על שגיאות מיד להחזרים.
- שמרו על רשומות של העסקאות שלכם.
