Tokenek számolása uncensored modellekben
A szakaszok első mondata megválaszolja a címükben szereplő kérdést. A token-számlálás az LLM proxyk számlázásának alapvető egysége. Minden elküldött tokenért fizetsz a promptban és minden generált tokenért a válaszban. Ez tartalmazza a rendszerutasításokat, a beszélgetési előzményeket és a formázási karaktereket.
Sok fejlesztő azt feltételezi, hogy csak a látható szöveg számít. Ez helytelen. Minden szóköz, sortörés és JSON-zárójel tokeneket fogyaszt. Ha uncensored modellt használ, a kontextusablak gyorsabban megtelik, mert ezek a modellek gyakran több verbális gondolkodást igényelnek a koherencia megőrzéséhez a biztonsági szűrők nélkül.
API-díjunk $0.15/1M bemeneti token és $0.50/1M kimeneti token. Ez az ár a tényleges tokenfelhasználásra vonatkozik. A hibákért nem számítunk fel díjat. A visszautasítások ingyenesek. Ez a struktúra biztosítja, hogy csak a tényleges számítási erőforrásért fizessen.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Számolja meg minden karaktert a rendszerpromptjában.
- Tartalmazzon beszélgetési előzményeket a bemeneti tokenek számításába.
- Fiók a JSON formázási többletköltségekért.
- Ellenőrizze a token számokat nagy payloadok küldése előtt.
A kontextusablak csapda: 100k bemenet vs. 16k kimenet
API-inként 100 000 tokenes kontextusablakot biztosítunk, de kérésenként csak 16 000 token generálható. Ez az aszimmetria árazási csapdát jelent azoknak a felhasználóknak, akik a végtelen kimenetet feltételezik.
Ha a promptod 90 000 tokent fogyaszt, akkor csak 10 000 token marad a kimenethez. Ha 16 000 token maximális kérést adsz meg, a modell idő előtt leáll. A ténylegesen generált tokenekért fizetsz. Ez nem hiba. Ez a nagy kontextusablakok jellemzője.
Sok felhasználó pazarolja a hitelt, ha a max_tokens-t túl magasra állítja. Ha a modell elfogy a kontextusból, természetesen leáll. A kifizetett összeg az, amit termel. Nem fizet azért, amit nem tudott termelni.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Mindig figyelje a megmaradó kontextust. Használja a /v1/models végpontot a jelenlegi limit ellenőrzésére. Állítsa be a prompt hosszát úgy, hogy maradjon hely a kimenetnek. Ez megakadályozza a váratlan díjakat a levágott válaszok miatt.
A streamelt válaszok és az utolsó darab számlázása
A streamelés nem változtatja meg a teljes költséget. Ugyanazokért a tokenekért fizetsz, függetlenül attól, hogy azonnal vagy egyszerre kapod meg őket. A különbség a használat nyomon követésében rejlik.
Streamelés során több darabot kapsz. Minden darab a válasz egy részét tartalmazza. Az utolsó darab tartalmazza a token-felhasználás összegzését. Itt ellenőrizheted a pontos token-számot.
Egyes proxyk darabonként (chunk) számláznak. Nálunk nem. A generált összes tokenért számítunk fel díjat. A streamelési mód a felhasználói élményért van, nem a számlálás hatékonyságáért.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)- Stream a valós idejű UI frissítésekhez.
- Köztes darabok figyelmen kívül hagyása a számlázás során.
- Olvassa el az utolsó chunkot a token számlákhoz.
- Hitelesítse, hogy a használat megfelel az elvárásainak.
Function calling overhead az eszközhasonlatnál
A függvényhívás jelentős többletköltséget ad, mert az eszközdefiníciók ismétlődnek minden kérésben. Minden alkalommal, amikor meghív egy függvényt, a modellnek újra el kell olvasnia az eszközsémát.
Ha öt eszköze van, mindegyik 1 000 token definícióval, minden kéréshez 5 000 tokent ad hozzá. Ez jelentősen növeli a bemeneti költségeket. Hosszú beszélgetések esetén ez a többlet felhalmozódik.
API-ink támogatja a function callingt a tools és tool_choice paraméterekkel. Optimalizálhatod a rendszer csökkentve az eszközök komplexitását. Kombinálj kapcsolódó eszközöket egyetlen sémába. Ez csökkenti a tokenek számát kérésenként.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Figyelje szorosan a tokenfelhasználást. A magas funkcióhívási volumen megduplázhatja a bemeneti költségeket. Használjon gyorsítótárazást az eszközmeghatározásokhoz, ha lehetséges. Ez segít meghosszabbítani az előre fizetett kredit élettartamát.
Miért ingyenesek a visszautasítások, de nem a retry-k
A visszautasítások ingyenesek, mert nem generálódtak tokenek. Ha a modell visszautasít egy kérést tartalom vagy formátum miatt, nem fizetsz semmit. Ez az előre fizetett számlázás egyik fő előnye.
Az újrapróbálkozások nem ingyenesek. Ha küld egy kérést és hibát kap, előfordulhat, hogy újra kell próbálnia. Minden újrapróbálkozás tokeneket fogyaszt. A hibák ingyenesek, de az újrapróbálkozások nem.
Az APInk csak a tényleges tokenfelhasználásért számít fel díjat. Ha a kérés a tokengenerálás előtt sikertelen, nem fizet semmit. Ha utána, akkor a generált mennyiség után fizet. Ez az átláthatóság megakadályozza a rejtett díjakat.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- A visszautalások nulla kreditet costolnak.
- Az újrapróbálkozások felélik a keretét.
- A hibák ingyenesek, ha nincs generált token.
- Figyelje a retry-kat a hatékonyság optimalizálásához.
JSON formázási költségek
A JSON formázási költségek megegyeznek a szöveges mód költségeivel. A JSON kimenet tokenjei után fizet. A formátum nem von fel extra díjat.
Azonban a JSON kimenet gyakran több tokent igényel, mint a sima szöveg. A modellek extra whitespace-t vagy kulcsokat adhatnak hozzá a érvényes JSON biztosítása érdekében. Ez növeli a kimeneti költségeket.
API-ink JSON módot támogat a response_format segítségével. Szigorú JSON kimenetet kényszeríthet ki. Ez biztosítja a kompatibilitást az ügyfélkódjával. A költség tokenenkénti, nem formátumonkénti.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Az optimalizált JSON sémája a tokenek számának csökkentésére. Távolítsa el a felesleges kulcsokat. Használjon rövidebb változóneveket. Ez segít minimalizálni a költségeket az adatintegritás megőrzése mellett.
Proxy költségek vs. közvetlen gyártói árazás összehasonlítása
A proxy költségek gyakran alacsonyabbak, mint a közvetlen gyártói árak, mert csak a tokenekért fizetsz. A közvetlen gyártók fizethetnek karbantartásért, támogatásért vagy modell verzióért. Az APInk $0,15-öt számít fel 1M bemeneti token után és $0,50-öt 1M kimeneti token után.
A közvetlen szállítók, mint az Anthropic vagy az OpenAI, komplex árazási szintekkel rendelkeznek. Különböző díjakat számolhatnak fel különböző modellekért. Az APInk egyetlen uncensored modellt kínál. Ez egyszerűsíti a számlázást.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);- A proxy számlázás átlátható és előre fizetett.
- A közvetlen szállítók rejtett díjakkal rendelkezhetnek.
- Modellünk uncensored és nyílt súlyú.
- Hasonlítsa össze a token számokat, ne csak az árakat.
Az effektív költséged kiszámítása beszélgetésenként
A hatékony költség párbeszédenként a tokenfelhasználástól függ. Számítsa ki a küldött és fogadott tokenek teljes számát. Szorozza meg a millió tokenenkénti árral. Ez adja a pontos költséget.
Például, ha egy beszélgetés 10 000 bemeneti token és 5 000 kimeneti token felhasználásával jár, a költség $0.0015 + $0.0025 = $0.004. Ez a legtöbb felhasználás esetén elhanyagolható.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'Az átlagos beszélgetési hossz nyomon követése. Optimalizálja a promptokat a bemeneti tokenek csökkentésére. Ez segít pontosan előre jelezni a költségeket. Az előre fizetett kredit nem jár le, így hosszú távra tervezhet.
A dupla számlázási hibák elkerülése előre fizetett kreditdel
A dupla terhelés ritka, de előfordulhat. Ha kriptovalutával tölt fel, győződjön meg arról, hogy a helyes összeget küldi. API-nk csak a tényleges tokenfelhasználásért számít fel díjat. A hibákat az Ügyfélszolgálat oldalon keresztül javítjuk.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)- Ellenőrizze a tranzakciós hash-eket a feltöltés előtt.
- Ellenőrizze egyenlegét minden kérés után.
- Jelentse azonnal a hibákat visszatérítésért.
- Tartsa nyilvántartást a tranzakcióiról.
