Compter les tokens dans les modèles non filtrés
La première phrase de chaque section répond à la question figurant dans son titre. Le comptage des tokens est l’unité fondamentale de facturation pour tout proxy LLM. Vous payez pour chaque token envoyé dans l’invite et pour chaque token généré dans la réponse. Cela inclut les instructions système, l’historique des conversations et les caractères de formatage.
De nombreux développeurs supposent que seul le texte visible compte. C'est incorrect. Chaque espace, saut de ligne et accolade JSON consomme des tokens. Lorsque vous utilisez un modèle uncensored, la fenêtre de contexte se remplit plus rapidement car ces modèles nécessitent souvent un raisonnement plus verbeux pour maintenir la cohérence sans filtres de sécurité.
Notre API facture 0,15 $ par 1M de tokens d'entrée et 0,50 $ par 1M de tokens de sortie. Ce tarif s'applique à l'utilisation réelle des tokens. Les erreurs ne vous sont pas facturées. Les refus sont gratuits. Cette structure garantit que vous ne payez que pour le calcul effectif.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Comptez chaque caractère dans votre prompt système.
- Incluez l'historique de la conversation dans votre comptage de tokens.
- Compte pour la surcharge de formatage JSON.
- Vérifiez les comptes de tokens avant d'envoyer de gros payloads.
Le piège de la fenêtre de contexte : 100k en entrée vs 16k en sortie
Notre API offre une fenêtre de contexte de 100 000 tokens, mais vous ne pouvez générer que 16 000 tokens par requête. Cette asymétrie crée un piège de facturation pour les utilisateurs qui supposent une sortie infinie.
Si votre prompt consomme 90 000 tokens, il ne vous reste que 10 000 tokens pour la sortie. Si vous demandez un maximum de 16 000 tokens, le modèle s'arrêtera prématurément. Vous payez toujours pour les tokens effectivement générés. Ce n'est pas un bug. C'est une caractéristique des fenêtres de contexte larges.
De nombreux utilisateurs gaspillent du crédit en définissant max_tokens trop haut. Si le modèle manque de contexte, il s’arrête naturellement. Vous payez ce qu’il produit. Vous ne payez pas ce qu’il n’a pas pu produire.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Surveillez toujours votre contexte restant. Utilisez le point de terminaison /v1/models pour vérifier les limites actuelles. Ajustez la longueur de votre invite pour laisser de la place à la sortie. Cela évite les frais inattendus dus aux réponses tronquées.
Réponses en streaming et facturation du dernier fragment
Le streaming ne modifie pas le coût total. Vous payez pour les mêmes jetons, que vous les receviez instantanément ou en une seule fois. La différence réside dans la manière dont vous suivez l'utilisation.
Lors de la diffusion, vous recevez plusieurs fragments. Chaque fragment contient une partie de la réponse. Le dernier fragment contient le résumé de l'utilisation des jetons. C'est là que vous vérifiez le nombre exact de jetons.
Certains proxies facturent par chunk. Le nôtre non plus. Nous facturons le total des tokens générés. Le mode streaming est destiné à l'expérience utilisateur, pas à l'efficacité de la facturation.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)- Diffusez pour des mises à jour d'interface utilisateur en temps réel.
- Ignorer les chunks intermédiaires pour la facturation.
- Lisez le dernier chunk pour les comptes de jetons.
- Vérifiez que l'utilisation correspond à vos attentes.
Surcharge lors de l'utilisation d'outils
L'appel de fonction ajoute une surcharge significative car les définitions d'outils sont répétées dans chaque requête. Chaque fois que vous appelez une fonction, le modèle doit relire le schéma de l'outil.
Si vous avez cinq outils, chacun avec 1 000 tokens de définitions, vous ajoutez 5 000 tokens à chaque requête. Cela augmente significativement votre coût d'entrée. Pour les longues conversations, cette surcharge s'accumule.
Notre API prend en charge l'appel de fonctions avec les outils et le tool_choice. Vous pouvez optimiser en réduisant la complexité des outils. Regroupez les outils connexes en schémas uniques. Cela réduit le nombre de tokens par requête.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Surveillez attentivement votre utilisation des jetons. Des volumes élevés d'appels de fonction peuvent doubler vos coûts d'entrée. Utilisez la mise en cache pour les définitions d'outils si possible. Cela aide à faire durer plus longtemps votre crédit prépayé.
Pourquoi les refus sont gratuits mais pas les nouvelles tentatives
Les refus sont gratuits car aucun jeton n'a été généré. Si le modèle refuse une demande en raison du contenu ou du format, vous ne payez rien. C'est un avantage clé de la facturation prépayée.
Les nouvelles tentatives ne sont pas gratuites. Si vous envoyez une requête et obtenez une erreur, vous devrez peut-être réessayer. Chaque nouvelle tentative consomme des jetons. Les erreurs sont gratuites, mais les nouvelles tentatives ne le sont pas.
Notre API facture uniquement l'utilisation réelle des tokens. Si une requête échoue avant la génération de tokens, vous ne payez rien. Si elle échoue après, vous payez pour ce qui a été généré. Cette transparence empêche les frais cachés.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Les refus coûtent zéro crédit.
- Les nouvelles tentatives consomment votre budget.
- Les erreurs sont gratuites si aucun token n'est généré.
- Surveillez les nouvelles tentatives pour optimiser l'efficacité.
Coût du formatage en mode JSON
Les coûts de formatage en mode JSON sont identiques à ceux du mode texte standard. Vous payez pour les tokens dans la sortie JSON. Le format n'ajoute pas de frais supplémentaires.
Cependant, la sortie JSON nécessite souvent plus de tokens que le texte brut. Les modèles peuvent ajouter des espaces blancs ou des clés supplémentaires pour garantir un JSON valide. Cela augmente votre coût de sortie.
Notre API prend en charge le mode JSON via response_format. Vous pouvez imposer une sortie JSON stricte. Cela garantit la compatibilité avec votre code client. Le coût est par jeton, et non par format.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Optimisez votre schéma JSON pour réduire le nombre de tokens. Supprimez les clés inutiles. Utilisez des noms de variables plus courts. Cela aide à minimiser les coûts tout en maintenant l'intégrité des données.
Comparaison des coûts des proxies aux tarifs directs des fournisseurs
Les coûts Proxy sont souvent inférieurs aux tarifs directs des fournisseurs car vous ne payez que pour les jetons. Les fournisseurs directs peuvent facturer la disponibilité, le support ou les versions de modèle. Notre API facture 0,15 $ par 1M de jetons d'entrée et 0,50 $ par 1M de jetons de sortie.
Les fournisseurs directs comme Anthropic ou OpenAI ont des niveaux de tarification complexes. Ils peuvent facturer des tarifs différents pour différents modèles. Notre API propose un seul modèle sans censure. Cela simplifie la facturation.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);- La facturation Proxy est transparente et prépayée.
- Les fournisseurs directs peuvent avoir des frais cachés.
- Notre modèle est sans censure et open-weight.
- Comparez les comptes de tokens, pas seulement les prix.
Calculer votre coût effectif par conversation
Le coût efficace par conversation dépend de l'utilisation des tokens. Calculez le nombre total de tokens envoyés et reçus. Multipliez par le taux par million de tokens. Cela vous donne le coût exact.
Par exemple, si une conversation utilise 10 000 tokens d'entrée et 5 000 tokens de sortie, le coût est de 0,0015 $ + 0,0025 $ = 0,004 $. C'est négligeable pour la plupart des utilisations.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'Suivez la longueur moyenne de vos conversations. Optimisez les prompts pour réduire les tokens d'entrée. Cela vous aide à prédire les coûts avec précision. Le crédit prépayé n'expire jamais, vous pouvez donc planifier à long terme.
Éviter les erreurs de double facturation avec le crédit prépayé
Les doubles facturations sont rares mais possibles. Si vous effectuez un rechargement via la crypto, assurez-vous d'envoyer le montant correct. Notre API ne facture que l'utilisation réelle des tokens. Les erreurs sont corrigées via la page Support.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)- Vérifiez les hash de transaction avant la recharge.
- Vérifiez votre solde après chaque requête.
- Signalez les erreurs immédiatement pour obtenir un remboursement.
- Conservez les registres de vos transactions.
