Pochopení počítání tokenů v modelech bez cenzury
První věta každé sekce odpovídá na otázku v nadpisu. Počítání tokenů je základní jednotkou fakturace pro jakýkoli proxy LLM. Platíte za každý token poslaný v promptu a za každý token vygenerovaný v odpovědi. To zahrnuje systémové instrukce, historii konverzace a formátovací znaky.
Mnoho vývojářů předpokládá, že se počítá pouze viditelný text. To je nesprávné. Každá mezera, nový řádek a závorka JSONu spotřebovávají tokeny. Když používáte model bez omezení, kontextové okno se zaplní rychleji, protože tyto modely často vyžadují podrobnější uvažování, aby udržely koherenci bez bezpečnostních filtrů.
Naše API účtuje $0,15 za 1M vstupních tokenů a $0,50 za 1M výstupních tokenů. Tato sazba se vztahuje na skutečné využití tokenů. Chyby vás nestojí nic. Odmítnutí jsou zdarma. Tato struktura zajišťuje, že platíte pouze za skutečný výpočetní výkon.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Spočítejte každý znak ve vašem systémovém promptu.
- Zahrňte historii konverzace do počtu vstupních tokenů.
- Účet pro režii formátování JSON.
- Ověřte počty tokenů před odesláním velkých payloadů.
Past kontextu: 100k vstup vs. 16k výstup
Naše API poskytuje kontextové okno o velikosti 100 000 tokenů, ale můžete generovat pouze 16 000 tokenů na požadavek. Tato asymetrie vytváří past pro uživatele, kteří předpokládají neomezený výstup.
Pokud váš prompt spotřebuje 90 000 tokenů, máte k dispozici pouze 10 000 tokenů pro výstup. Pokud požadujete maximálně 16 000 tokenů, model se zastaví dříve. Platíte za tokeny, které byly skutečně vygenerovány. Není to chyba. Je to vlastnost velkých kontextových oken.
Mnoho uživatelů plýtvá kreditem nastavením max_tokens příliš vysoko. Pokud model vyčerpá kontext, přirozeně se zastaví. Platíte za to, co vyprodukuje. Neplatíte za to, co nemohl vyprodukovat.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Vždy monitorujte zbývající kontext. Použijte koncový bod /v1/models k ověření aktuálních limitů. Upravte délku promptu tak, aby zbylo místo pro výstup. To předejde neočekávaným nákladům kvůli oříznutým odpovědím.
Streamování odpovědí a fakturace za poslední blok
Streamování nemění celkové náklady. Platíte za stejné množství tokenů, ať už je přijímáte okamžitě, nebo najednou. Rozdíl spočívá ve způsobu sledování využití.
Při streamování získáte více částí. Každá část obsahuje část odpovědi. Poslední část obsahuje souhrn použití tokenů. Zde ověříte přesný počet tokenů.
Některé proxy účtují za každou část. Naše neúčtuje. My účtujeme za celkový počet vygenerovaných tokenů. Režim streamování slouží pro uživatelský zážitek, nikoliv pro efektivitu fakturace.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)- Streamujte pro aktualizace uživatelského rozhraní v reálném čase.
- Ignorovat mezilehlé části pro fakturaci.
- Přečtěte poslední chunk pro počty tokenů.
- Ověřte, zda využití odpovídá vašim očekáváním.
Přetížení při používání nástrojů
Volání funkcí přidává významné přídavné náklady, protože definice nástrojů jsou v každém požadavku opakovány. Pokaždé, když zavoláte funkci, musí model znovu přečíst schéma nástroje.
Pokud máte pět nástrojů, každý s 1 000 tokeny definic, přidáte k každému požadavku 5 000 tokenů. To významně zvýší náklady na vstup. Při dlouhých konverzacích se tento overhead sčítá.
Naše API podporuje volání funkcí s nástroji a tool_choice. Můžete optimalizovat snížením složitosti nástrojů. Spojte související nástroje do jednoho schématu. To snižuje počet tokenů na požadavek.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Sledujte používání tokenů pečlivě. Vysoký počet volání funkcí může zdvojnásobit vaše vstupní náklady. Pokud je to možné, použijte ukládání do mezipaměti pro definice nástrojů. To pomáhá prodloužit životnost vašeho předplaceného kreditu.
Proč odmítnutí jsou zdarma, ale opakované pokusy ne
Odmítnutí je zdarma, protože nebyly vygenerovány žádné tokeny. Pokud model odmítne požadavek kvůli obsahu nebo formátu, neplatíte nic. To je klíčová výhoda předplaceného fakturování.
Opakování nejsou zdarma. Pokud odešlete požadavek a dostanete chybu, možná budete musit zkusit znovu. Každé opakování spotřebuje tokeny. Chyby jsou zdarma, ale opakování ne.
Naše API účtuje pouze za skutečné tokeny. Pokud požadavek selže před generováním tokenů, neplatíte nic. Pokud selže poté, platíte za to, co bylo vygenerováno. Tato transparentnost zabraňuje skrytým poplatkům.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Odmítnutí stojí nulu kreditů.
- Opakování spotřebovávají váš rozpočet.
- Chyby jsou zdarma, pokud nejsou vygenerovány žádné tokeny.
- Sledujte opakování pro optimalizaci efektivity.
Ceny formátování v režimu JSON
Ceny formátování v režimu JSON jsou identické s cenami v režimu běžného textu. Platíte za tokeny ve výstupu JSON. Formát nepřináší další poplatky.
Nicméně výstup JSON často vyžaduje více tokenů než prostý text. Modely mohou přidávat další mezery nebo klíče, aby zajistily platný JSON. To zvyšuje vaše náklady na výstup.
Naše API podporuje režim JSON přes response_format. Můžete vynutit striktní výstup ve formátu JSON. To zajišťuje kompatibilitu s vaším klientským kódem. Cena je stanovena na základě tokenů, nikoliv formátu.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Optimalizujte svou JSON schéma pro snížení počtu tokenů. Odstraňte zbytečné klíče. Používejte kratší názvy proměnných. To pomáhá minimalizovat náklady při zachování integrity dat.
Porovnání nákladů na proxy s přímým ceníkem dodavatele
Náklady na Proxy jsou často nižší než ceny přímých dodavatelů, protože platíte pouze za tokeny. Přímí dodavatelé mohou účtovat za dostupnost, podporu nebo verze modelů. Naše API účtuje $0,15 za 1M vstupních tokenů a $0,50 za 1M výstupních tokenů.
Přímí dodavatelé jako Anthropic nebo OpenAI mají složité cenové kategorie. Mohou účtovat různé sazby pro různé modely. Naše API nabízí jeden nezcenzurovaný model. To zjednodušuje fakturaci.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);- Fakturace proxy je transparentní a předplacená.
- Přímí dodavatelé mohou mít skryté poplatky.
- Náš model je bez cenzury a má otevřené váhy.
- Porovnejte počty tokenů, ne pouze ceny.
Výpočet efektivního nákladu na konverzaci
Efektivní náklady na konverzaci závisí na využití tokenů. Vypočítejte celkový počet odeslaných a přijatých tokenů. Vynásobte sazbou za milion tokenů. To vám dá přesné náklady.
Například pokud konverzace použije 10 000 vstupních tokenů a 5 000 výstupních tokenů, náklady jsou $0,0015 + $0,0025 = $0,004. To je pro většinu použití zanedbatelné.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'Sledujte průměrnou délku konverzace. Optimalizujte prompty pro snížení vstupních tokenů. To vám pomůže přesně předpovídat náklady. Předplacený kredit nevyprší, takže můžete plánovat dlouhodobě.
Předcházení chybám s dvojitým účtováním pomocí předplaceného kreditu
Dvojí účtování je vzácné, ale možné. Pokud dobíjíte kryptoměnami, ujistěte se, že odešlete správnou částku. Naše API účtuje pouze za skutečné použití tokenů. Chyby se opravují prostřednictvím stránky Podpora.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)- Zkontrolujte transakční hash před dobijením.
- Zkontrolujte svůj zůstatek po každé žádosti.
- Chyby hlásněte ihned pro vrácení peněz.
- "Udržujte záznamy o svých transakcích."
