Comprendere il conteggio dei token nei modelli uncensored
La prima frase di ogni sezione risponde alla domanda contenuta nel titolo. Il conteggio dei token è l'unità fondamentale di fatturazione per qualsiasi proxy LLM. Paghi per ogni token inviato nel prompt e per ogni token generato nella risposta. Questo include le istruzioni di sistema, la cronologia delle conversazioni e i caratteri di formattazione.
Molti sviluppatori assumono che conti solo il testo visibile. Questo è errato. Ogni spazio, a capo e parentesi JSON consuma token. Quando si utilizza un modello senza filtri, la finestra di contesto si riempie più velocemente perché questi modelli richiedono spesso un ragionamento più verboso per mantenere la coerenza senza filtri di sicurezza.
La nostra API applica un costo di $0.15 per 1M di token in input e $0.50 per 1M di token in output. Questo tariffario si applica all'utilizzo effettivo dei token. Gli errori non ti vengono addebitati. I rifiuti sono gratuiti. Questa struttura garantisce che tu paghi solo per il calcolo effettivo.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Conta ogni carattere nel tuo prompt di sistema.
- Includi la cronologia delle conversazioni nel tuo conteggio dei token.
- Account per il sovraccarico di formattazione JSON.
- Verifica i conteggi dei token prima di inviare payload di grandi dimensioni.
La trappola della finestra di contesto: 100k di input vs 16k di output
La nostra API offre una finestra di contesto da 100.000 token, ma puoi generare solo 16.000 token per richiesta. Questa asimmetria crea una trappola di fatturazione per gli utenti che presuppongono un output infinito.
Se il tuo prompt consuma 90.000 token, ti restano solo 10.000 token per l'output. Se richiedi un massimo di 16.000 token, il modello si fermerà prima. Paghi comunque per i token effettivamente generati. Non è un bug. È una caratteristica delle finestre di contesto ampie.
Molti utenti sprecano credito impostando max_tokens troppo alto. Se il modello esaurisce il contesto, si ferma naturalmente. Paghi per ciò che produce. Non paghi per ciò che non ha potuto produrre.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Monitora sempre il tuo contesto rimanente. Usa l'endpoint /v1/models per verificare i limiti attuali. Regola la lunghezza del prompt per lasciare spazio all'output. Questo previene addebiti imprevisti da risposte troncate.
Risposte in streaming e fatturazione per l'ultimo chunk
Lo streaming non modifica il costo totale. Paghi per gli stessi token, che tu li riceva istantaneamente o tutti insieme. La differenza è nel modo in cui monitori l'utilizzo.
Quando trasmetti, ricevi più chunk. Ogni chunk contiene una parte della risposta. L'ultimo chunk contiene il riepilogo dell'utilizzo dei token. È qui che verifichi il conteggio esatto dei token.
Alcuni proxy addebitano per chunk. Il nostro non lo fa. Addebitiamo per i token totali generati. La modalità streaming è per l'esperienza utente, non per l'efficienza di fatturazione.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)- Stream per aggiornamenti UI in tempo reale.
- Ignora i chunk intermedi per la fatturazione.
- Leggi l'ultimo chunk per i conteggi dei token.
- Verifica che l'utilizzo corrisponda alle tue aspettative.
Overhead nell'utilizzo degli strumenti per il function calling
Il function calling aggiunge un overhead significativo perché le definizioni degli strumenti vengono ripetute in ogni richiesta. Ogni volta che chiami una funzione, il modello deve rileggere lo schema degli strumenti.
Se hai cinque strumenti, ciascuno con 1.000 token di definizioni, aggiungi 5.000 token a ogni richiesta. Questo aumenta significativamente il tuo costo di input. Per le conversazioni lunghe, questo sovraccarico si accumula.
La nostra API supporta il function calling con tools e tool_choice. Puoi ottimizzare riducendo la complessità degli strumenti. Combina strumenti correlati in singoli schemi. Questo riduce il conteggio dei token per richiesta.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Monitora attentamente l'utilizzo dei token. Elevati volumi di chiamate di funzione possono raddoppiare i costi di input. Usa la cache per le definizioni degli strumenti se possibile. Questo aiuta a far durare di più il tuo credito prepagato.
Perché i rifiuti sono gratuiti ma i retry non lo sono
I rifiuti sono gratuiti perché non sono stati generati token. Se il modello rifiuta una richiesta per motivi di contenuto o formato, non paghi nulla. Questo è un vantaggio chiave del fatturazione prepagata.
I tentativi non sono gratuiti. Se invii una richiesta e ottieni un errore, potresti dover riprovare. Ogni tentativo consuma token. Gli errori sono gratuiti, ma i tentativi non lo sono.
La nostra API applica costi solo per i token reali. Se una richiesta fallisce prima della generazione dei token, non paghi nulla. Se fallisce dopo, paghi solo per quanto è stato generato. Questa trasparenza previene le commissioni nascoste.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- I rifiuti costano zero crediti.
- I tentativi consumano il tuo budget.
- Gli errori sono gratuiti se non vengono generati token.
- Monitorare i tentativi per ottimizzare l'efficienza.
Costi di formattazione modalità JSON
I costi di formattazione della modalità JSON sono identici alla modalità testo standard. Si paga per i token nell'output JSON. Il formato non aggiunge costi extra.
Tuttavia, l'output JSON richiede spesso più token del testo normale. I modelli possono aggiungere spazi bianchi o chiavi extra per garantire un JSON valido. Questo aumenta il costo del tuo output.
La nostra API supporta la modalità JSON tramite response_format. Puoi forzare un output JSON rigoroso. Questo garantisce la compatibilità con il codice client. Il costo è per token, non per formato.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Ottimizza il tuo schema JSON per ridurre il conteggio dei token. Rimuovi le chiavi non necessarie. Usa nomi di variabili più brevi. Questo aiuta a minimizzare i costi mantenendo l'integrità dei dati.
Confrontando i costi dei proxy con i prezzi diretti del vendor
I costi del proxy sono spesso inferiori ai prezzi dei fornitori diretti perché paghi solo per i token. I fornitori diretti possono addebitare per l'uptime, il supporto o la versioning del modello. La nostra API addebita $0,15 per 1M di token di input e $0,50 per 1M di token di output.
I fornitori diretti come Anthropic o OpenAI hanno livelli di prezzo complessi. Possono addebitare tariffe diverse per modelli diversi. La nostra API offre un singolo modello uncensored. Questo semplifica la fatturazione.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);- La fatturazione del proxy è trasparente e prepagata.
- I fornitori diretti possono avere commissioni nascoste.
- Il nostro modello è non censurato e open-weight.
- Confronta i conteggi dei token, non solo i prezzi.
Calcolo del tuo costo effettivo per conversazione
Il costo effettivo per conversazione dipende dall'utilizzo dei token. Calcola il numero totale di token inviati e ricevuti. Moltiplica per il tasso per milione di token. Questo ti dà il costo esatto.
Ad esempio, se una conversazione utilizza 10.000 token di input e 5.000 token di output, il costo è $0,0015 + $0,0025 = $0,004. Questo importo è trascurabile nella maggior parte dei casi d'uso.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'Monitora la lunghezza media della tua conversazione. Ottimizza i prompt per ridurre i token di input. Questo ti aiuta a prevedere i costi con precisione. Il credito prepagato non scade mai, quindi puoi pianificare a lungo termine.
Evitare errori di doppia fatturazione con il credito prepagato
Doppi addebiti sono rari ma possibili. Se ricarichi tramite criptovaluta, assicurati di inviare l'importo corretto. La nostra API addebita solo per l'utilizzo reale dei token. Gli errori vengono corretti tramite la pagina Supporto.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)- Verifica le transazioni prima di ricaricare.
- Verifica il tuo saldo dopo ogni richiesta.
- Segnala immediatamente gli errori per i rimborsi.
- Tieni traccia delle tue transazioni.
