Înțelegerea numărării tokenilor în modelele neconstrânse
Prima propoziție din fiecare secțiune răspunde la întrebarea din antetul acesteia. Numărarea tokenilor este unitatea fundamentală de facturare pentru orice proxy LLM. Plătiți pentru fiecare token trimis în prompt și pentru fiecare token generat în răspuns. Acest lucru include instrucțiunile de sistem, istoricul conversației și caracterele de formatare.
Mulți dezvoltatori presupun că doar textul vizibil contează. Acest lucru este incorect. Fiecare spațiu, newline și paranteză JSON consumă tokeni. Când folosești un model uncensored, fereastra de context se umple mai repede deoarece aceste modele necesită adesea raționamente mai verbale pentru a menține coerența fără filtre de siguranță.
API-ul nostru percepe $0.15 per 1M tokeni de intrare și $0.50 per 1M tokeni de ieșire. Acest tarif se aplică utilizării reale de tokeni. Erorile nu te costă. Refuzurile sunt gratuite. Această structură asigură că plătești doar pentru calculul efectiv.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Numără fiecare caracter din promptul de sistem.
- Includeți istoricul conversației în numărul de tokeni de intrare.
- Cont pentru overhead-ul de formatare JSON.
- Verificați numărul de tokeni înainte de a trimite payload-uri mari.
Capcana ferestrei de context: 100k input vs 16k output
API-ul nostru oferă o fereastră de context de 100.000 de tokeni, dar puteți genera doar 16.000 de tokeni per cerere. Această asimetrie creează o capcană de facturare pentru utilizatorii care presupun o ieșire infinită.
Dacă promptul tău consumă 90.000 de tokeni, îți rămân doar 10.000 de tokeni pentru ieșire. Dacă ceri un maxim de 16.000 de tokeni, modelul se va opri devreme. Plătești totuși pentru tokenii generați efectiv. Nu este o eroare. Este o caracteristică a ferestrelor de context mari.
Mulți utilizatori își risipesc creditul setând max_tokens prea mare. Dacă modelul epuizează contextul, se oprește natural. Plătești pentru ceea ce generează. Nu plătești pentru ceea ce nu a putut genera.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Monitorizează întotdeauna contextul rămas. Folosește endpoint-ul /v1/models pentru a verifica limitele curente. Ajustează lungimea promptului pentru a lăsa loc pentru output. Acest lucru previne charge-urile neașteptate din cauza răspunsurilor trunchiate.
Facturare fragment final și răspunsuri în flux
Streaming-ul nu modifică costul total. Plătiți pentru aceiași tokeni, indiferent dacă îi primiți instantaneu sau în bloc. Diferența constă în modul în care urmăriți utilizarea.
Când stream-ui, primești mai multe fragmente. Fiecare fragment conține o parte din răspuns. Fragmentul final conține rezumatul utilizării tokenilor. Aici verifici numărul exact de tokeni.
Unii proxy-uri percep taxe per fragment. Al nostru nu. Noi percepem taxe pentru totalul tokenilor generați. Modul de streaming este pentru experiența utilizatorului, nu pentru eficiența facturării.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)- Streaming pentru actualizări UI în timp real.
- Ignore intermediate chunks for billing.
- Citește ultimul chunk pentru numărul de tokeni.
- Verificați dacă utilizarea se aliniază cu așteptările dvs.
Supraîncărcarea în utilizarea instrumentelor
Apelarea funcțiilor adaugă o suprapunere semnificativă deoarece definițiile instrumentelor sunt repetate în fiecare cerere. De fiecare dată când apelați o funcție, modelul trebuie să re-citească schema instrumentului.
Dacă aveți cinci instrumente, fiecare cu 1.000 de tokeni de definiții, adăugați 5.000 de tokeni la fiecare solicitare. Acest lucru crește semnificativ costul inputului. Pentru conversațiile lungi, acest overhead se acumulează.
API-ul nostru acceptă apelarea funcțiilor cu tools și tool_choice. Puteți optimiza reducând complexitatea instrumentelor. Combinați instrumentele conexe în scheme unice. Acest lucru reduce numărul de tokeni per cerere.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Monitorizați utilizarea tokenilor cu atenție. Volumele mari de apeluri de funcții vă pot dubla costurile de intrare. Utilizați caching pentru definițiile uneltelor dacă este posibil. Acest lucru ajută la menținerea creditului preplătit pentru o perioadă mai lungă.
De ce refuzurile sunt gratuite, dar reîncercările nu
Refuzurile sunt gratuite deoarece nu au fost generate token-i. Dacă modelul refuză o cerere din cauza conținutului sau a formatului, nu plătești nimic. Acesta este un avantaj cheie al facturării preplătite.
Retrimerile nu sunt gratuite. Dacă trimiți o cerere și primești o eroare, poate fi necesară o retrimitere. Fiecare retrimitere consumă tokenuri. Erorile sunt gratuite, dar retrimerile nu.
API-ul nostru percepe doar pentru tokenii reali. Dacă o cerere eșuează înainte de generarea tokenilor, nu plătiți nimic. Dacă eșuează după, plătiți pentru ceea ce a fost generat. Această transparenă previne taxele ascunse.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Refuzurile costă zero credite.
- Retrimerile îți consumă bugetul.
- Erorile sunt gratuite dacă nu se generează tokenuri.
- Monitorizați reîncercările pentru a optimiza eficiența.
Costuri de formatare în modul JSON
Costurile de formatare în modul JSON sunt identice cu cele ale modului text standard. Plătești pentru tokenii din output-ul JSON. Formatul nu adaugă taxe suplimentare.
Totuși, ieșirea JSON necesită adesea mai mulți tokeni decât textul simplu. Modelele pot adăuga spațiu alb suplimentar sau chei pentru a asigura un JSON valid. Acest lucru crește costul ieșirii tale.
API-ul nostru suportă modul JSON prin response_format. Puteți forța un output JSON strict. Acest lucru asigură compatibilitatea cu codul clientului dvs. Costul este pe token, nu pe format.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Optimizează schema ta JSON pentru a reduce numărul de tokeni. Elimină cheile inutile. Folosește nume de variabile mai scurte. Acest lucru ajută la minimizarea costurilor menținând integritatea datelor.
Comparând costurile proxy cu tarifele direct ale vendorului
Costurile proxy sunt adesea mai mici decât prețurile direct ale furnizorilor deoarece plătești doar pentru tokeni. Furnizorii direcți pot percepe taxe pentru uptime, suport sau versiuni de modele. API-ul nostru percepe $0.15 per 1M tokeni de intrare și $0.50 per 1M tokeni de ieșire.
Furnizorii direcți precum Anthropic sau OpenAI au niveluri complexe de tarifare. Pot factura rate diferite pentru modele diferite. API-ul nostru oferă un singur model fără cenzură. Acest lucru simplifică facturarea.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);- Facturarea proxy este transparentă și preplătită.
- Furnizorii direcți pot avea taxe ascunse.
- Modelul nostru este fără cenzură și open-weight.
- Compară numărul de tokeni, nu doar prețurile.
Calcularea costului efectiv per conversație
Costul efectiv per conversație depinde de utilizarea tokenilor. Calculează numărul total de tokeni trimiși și primiți. Înmulțește cu rata per milion de tokeni. Acest lucru îți oferă costul exact.
De exemplu, dacă o conversație utilizează 10,000 de tokeni de intrare și 5,000 de tokeni de ieșire, costul este $0.0015 + $0.0025 = $0.004. Acesta este un cost neglijabil pentru majoritatea utilizărilor.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'Urmărește lungimea medie a conversației. Optimizează prompturile pentru a reduce tokenii de intrare. Acest lucru te ajută să prezici costurile cu precizie. Creditul preplătit nu expiră niciodată, așa că poți planifica pe termen lung.
Evitarea greșelilor de dublă taxare cu credit preplătit
Dublarea taxelor este rară, dar posibilă. Dacă efectuezi top-up prin criptomonede, asigură-te că trimiți suma corectă. API-ul nostru taxează doar pentru utilizarea reală a tokenilor. Greșelile sunt remediate prin pagina de Suport.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)- Verificați hash-urile tranzacțiilor înainte de top-up.
- Verificați soldul după fiecare solicitare.
- Raportați erorile imediat pentru rambursări.
- Păstrează înregistrările tranzacțiilor tale.
