Kısıtlamasız modellerde token sayımını anlama
Her bölümün ilk cümlesi, başlıktaki soruyu yanıtlar. Token sayımı, herhangi bir LLM vekil sunucusu için faturalandırmanın temel birimidir. Gönderilen her token ve yanıtta üretilen her token için ödeme yaparsınız. Bu, sistem talimatlarını, konuşma geçmişini ve biçimlendirme karakterlerini içerir.
Birçok geliştirici yalnızca görünür metnin önemli olduğunu varsayar. Bu yanlıştır. Her boşluk, satır sonu ve JSON parantezi token tüketir. Bir uncensored model kullandığınızda, bağlam penceresi daha hızlı dolar çünkü bu modeller güvenlik filtreleri olmadan tutarlılığı korumak için genellikle daha ayrıntılı akıl yürütme gerektirir.
API'miz, 1M giriş tokeni başına $0.15 ve 1M çıkış tokeni başına $0.50 ücretlendirir. Bu oran gerçek token kullanımına uygulanır. Hatalar size ücret yansıtmaz. Reddedilen istekler ücretsizdir. Bu yapı, yalnızca gerçek hesaplama için ödeme yapmanızı sağlar.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Sistem isteminizdeki her karakteri sayın.
- Sohbet geçmişini girdi sayımınıza dahil edin.
- JSON biçimlendirme yükü için hesap.
- Büyük yüklemeler göndermeden önce token sayılarını doğrulayın.
Bağlam penceresi tuzağı: 100k giriş vs 16k çıktı
API 100.000 tokenlık bir bağlam penceresi sağlar, ancak isteğiniz başına yalnızca 16.000 token üretebilirsiniz. Bu asimetri, sonsuz çıktı varsayan kullanıcılar için bir faturalandırma tuzağı oluşturur.
İsteminiz 90.000 token tüketirse, çıktı için yalnızca 10.000 tokenınız kalır. Maksimum 16.000 token isterseniz model erken duracaktır. Oluşturulan token'lar için hâlâ ödeme yaparsınız. Bu bir hata değil, büyük bağlam pencerelerinin bir özelliğidir.
Birçok kullanıcı, max_tokens'i çok yüksek ayarlayarak kredisini boşa harcar. Model bağlamı doldurduğunda doğal olarak durur. Ürettiği şey için ödersiniz. Üretemediği şey için ödeme yapmazsınız.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Kalan bağlamınızı her zaman izleyin. Mevcut limitleri doğrulamak için /v1/models uç noktasını kullanın. Çıktı için yer bırakmak amacıyla prompt uzunluğunuzu ayarlayın. Bu, truncation nedeniyle beklenmeyen ücretlerden kaçınmanızı sağlar.
Akış yanıtları ve son parça faturalandırma
Akış toplam maliyeti değiştirmez. Tokenları anında mı yoksa toplu mu aldığınızdan bağımsız olarak aynı tokenlar için ödeme yaparsınız. Fark kullanım takibinde yatar.
Akış (stream) kullandığınızda birden fazla parça alırsınız. Her parça, yanıtın bir bölümünü içerir. Son parça, token kullanım özetini içerir. İşte tam token sayısını doğruladığınız yer burasıdır.
Bazı vekil sunucular (proxy) parça başına ücret alır. Bizimki almaz. Toplam oluşturulan tokenlar için ücretlendirme yaparız. Akış modu kullanıcı deneyimi içindir, faturalandırma verimliliği için değil.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)- Gerçek zamanlı UI güncellemeleri için akış yapın.
- Faturalandırma için ara parçaları yok say.
- Token sayıları için son parçayı okuyun.
- Kullanımın beklentilerinizle eşleştiğini doğrulayın.
Araç kullanımında fonksiyon çağırma üst yükü
Fonksiyon çağırma, araç tanımlamalarının her istekte tekrarlanmasından dolayı önemli bir ek yük ekler. Bir fonksiyonu her çağırdığınızda, modelin araç şemasını yeniden okuması gerekir.
Beş aracınız varsa ve her birinin 1.000 token tanım sözlüğü varsa, her istek için 5.000 token eklersiniz. Bu, girdi maliyetinizi önemli ölçüde artırır. Uzun konuşmalar için bu ek yük birikir.
API'miz, araçlar ve tool_choice ile işlev çağırma destekler. Araç karmaşıklığını azatarak optimize edebilirsiniz. İlgili araçları tek şemalarda birleştirin. Bu, istek başına token sayısını azaltır.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Token kullanımınızı dikkatlice izleyin. Yüksek fonksiyon çağrı hacimleri, girdi maliyetlerinizi iki katına çıkarabilir. Mümkünse araç tanımları için önbellek kullanın. Bu, ön ödemeli kredinizin daha uzun süre dayanmasına yardımcı olur.
Neden reddetmeler ücretsiz ama yeniden denemeler ücretli
Redler ücretsizdir çünkü token üretilmemiştir. Model içerik veya format nedeniyle bir isteği reddederse hiçbir şey ödemezsiniz. Bu, ön ödemeli faturalandırmanın temel bir avantajıdır.
Yeniden denemeler ücretsiz değildir. Bir istek gönderir ve hata alırsanız, yeniden denemeniz gerekebilir. Her yeniden deneme token tüketir. Hatalar ücretsizdir, ancak yeniden denemeler ücretsiz değildir.
API'miz, yalnızca gerçek token kullanımı için ücretlendirme yapar. Bir istek token üretmeden önce başarısız olursa hiçbir şey ödemezsiniz. Eğer daha sonra başarısız olursa, üretilen tokenler için ödeme yaparsınız. Bu şeffaflık gizli ücretlerin önüne geçer.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Redler sıfır krediye mal olur.
- Yeniden denemeler bütçenizi tüketir.
- Hiçbir token üretilmediğinde hatalar ücretsizdir.
- Verimliliği optimize etmek için geri denemeleri izleyin.
JSON modu formatlama maliyetleri
JSON modu formatlama maliyetleri, standart metin moduyla aynıdır. JSON çıktısındaki tokenlar için ödeme yaparsınız. Format ek ücret eklemez.
Ancak, JSON çıktısı genellikle düz metinden daha fazla token gerektirir. Modeller geçerli JSON'u sağlamak için ekstra boşluk veya anahtarlar ekleyebilir. Bu, çıktı maliyetinizi artırır.
API'miz, response_format aracılığıyla JSON modunu destekler. Katı bir JSON çıktısı zorlayabilirsiniz. Bu, istemci kodunuzla uyumluluğu sağlar. Maliyet, format başına değil, belirteç başınadır.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Token sayısını azaltmak için JSON şemanızı optimize edin. Gereksiz anahtarları kaldırın. Kısa değişken adları kullanın. Bu, veri bütünlüğünü korurken maliyetleri minimize etmeye yardımcı olur.
Proxy maliyetlerini doğrudan satıcı fiyatlandırmasıyla karşılaştırma
Proxy maliyetleri genellikle doğrudan sağlayıcı fiyatlarından daha düşüktür çünkü sadece tokenlar için ödeme yaparsınız. Doğrudan sağlayıcılar, çalışma süresi, destek veya model sürümlendirme için ücret alabilir. API'miz milyon giriş tokenı başına $0.15 ve milyon çıkış tokenı başına $0.50 ücretlendirir.
Anthropic veya OpenAI gibi doğrudan satıcıların karmaşık fiyatlandırma katmanları vardır. Farklı modeller için farklı oranlar uygulayabilirler. API'miz tek bir uncensored model sunar. Bu, faturalandırmayı basitleştirir.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);- Proxy faturalandırması şeffaftır ve ön ödemelidir.
- Doğrudan satıcılar gizli ücretler içerebilir.
- Modelimiz sansürsüz ve açık ağırlıklıdır.
- Sadece fiyatları değil, token sayılarını da karşılaştırın.
Etkili konuşma başına maliyetinizi hesaplama
Konuşma başına etkili maliyet, token kullanımına bağlıdır. Gönderilen ve alınan toplam token'ları hesaplayın. Milyon token başına oranla çarpın. Bu size kesin maliyeti verir.
Örneğin, bir konuşma 10.000 giriş token'ı ve 5.000 çıkış token'ı kullanıyorsa, maliyet $0.0015 + $0.0025 = $0.004'dür. Bu, çoğu kullanım için önemsiz bir miktardır.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'Ortalama konuşma uzunluğunuzu izleyin. Girdi tokenlarını azaltmak için istemleri optimize edin. Bu, maliyetleri doğru tahmin etmenize yardımcı olur. Peşin kredi süresi dolmaz, bu nedenle uzun vadeli planlama yapabilirsiniz.
Önceden ödenmiş kredi ile çift ücretlendirme hatalarından kaçının
Çift ücretlendirme nadirdir ancak mümkündür. Kripto ile bakiye yüklemesi yapıyorsanız, doğru miktarı gönderdiğinizden emin olun. API'miz yalnızca gerçek token kullanımından ücret alır. Hatalar Destek sayfası üzerinden düzeltilir.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)- Yüklemeler yapmadan önce işlem hash'lerini doğrulayın.
- Her istekten sonra bakiyenizi kontrol edin.
- Hataları hemen bildirin, iade için.
- İşlem kayıtlarınızı tutun.
