Memahami penghitungan token dalam model tanpa sensor
Kalimat pertama dari setiap bagian menjawab pertanyaan dalam judulnya. Penghitungan token adalah unit dasar penagihan untuk proksi LLM apa pun. Anda membayar untuk setiap token yang dikirim dalam prompt dan setiap token yang dihasilkan dalam respons. Ini termasuk instruksi sistem, riwayat percakapan, dan karakter pemformatan.
Banyak pengembang mengasumsikan bahwa hanya teks yang terlihat yang diperhitungkan. Ini salah. Setiap spasi, baris baru, dan kurung JSON mengonsumsi token. Saat Anda menggunakan model tanpa sensor, jendela konteks terisi lebih cepat karena model-model ini sering kali memerlukan penalaran yang lebih panjang untuk menjaga koherensi tanpa filter keamanan.
API kami mengenakan biaya $0.15 per 1M token input dan $0.50 per 1M token output. Tarif ini berlaku untuk penggunaan token nyata. Kesalahan tidak membebani Anda. Penolakan gratis. Struktur ini memastikan Anda hanya membayar untuk komputasi aktual.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Hitung setiap karakter dalam prompt sistem Anda.
- Termukkan riwayat percakapan dalam hitungan token input Anda.
- Akun untuk overhead format JSON.
- Verifikasi jumlah token sebelum mengirimkan payload besar.
Jebakan jendela konteks: 100k input vs 16k output
API kami menyediakan jendela konteks 100.000 token, tetapi Anda hanya dapat menghasilkan 16.000 token per permintaan. Asimetri ini menciptakan jebakan penagihan bagi pengguna yang mengasumsikan output tak terbatas.
Jika prompt Anda mengonsumsi 90.000 token, Anda hanya memiliki 10.000 token tersisa untuk output. Jika Anda meminta maksimum 16.000 token, model akan berhenti lebih awal. Anda tetap membayar untuk token yang benar-benar dihasilkan. Ini bukan bug. Ini adalah fitur dari jendela konteks besar.
Banyak pengguna membuang kredit dengan mengatur max_tokens terlalu tinggi. Jika model kehabisan konteks, ia berhenti secara alami. Anda membayar apa yang dihasilkannya. Anda tidak membayar apa yang tidak dapat dihasilkannya.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Selalu pantau konteks sisa Anda. Gunakan endpoint /v1/models untuk memverifikasi batas saat ini. Sesuaikan panjang prompt Anda untuk memberi ruang bagi output. Ini mencegah biaya tak terduga dari respons yang terpotong.
Responsi streaming dan penagihan potongan data terakhir
Streaming tidak mengubah total biaya. Anda membayar untuk token yang sama baik Anda menerimanya secara instan maupun sekaligus. Perbedaannya terletak pada cara Anda melacak penggunaan.
Saat Anda melakukan streaming, Anda menerima beberapa potongan. Setiap potongan berisi sebagian dari respons. Potongan terakhir berisi ringkasan penggunaan token. Di sinilah Anda memverifikasi jumlah token yang tepat.
Beberapa proxy membebankan biaya per chunk. Kami tidak. Kami membebankan biaya untuk total token yang dihasilkan. Mode streaming adalah untuk pengalaman pengguna, bukan efisiensi penagihan.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)- Stream untuk pembaruan UI real-time.
- Abaikan potongan menengah untuk penagihan.
- Baca bagian terakhir untuk hitungan token.
- Verifikasi penggunaan sesuai harapan Anda.
Overhead pemanggilan fungsi dalam penggunaan alat
Pemanggilan fungsi menambah overhead signifikan karena definisi alat diulang dalam setiap permintaan. Setiap kali Anda memanggil fungsi, model harus membaca ulang skema alat.
Jika Anda memiliki lima alat, masing-masing dengan 1.000 token definisi, Anda menambahkan 5.000 token ke setiap permintaan. Ini meningkatkan biaya input Anda secara signifikan. Untuk percakapan panjang, overhead ini menumpuk.
API kami mendukung pemanggilan fungsi dengan tools dan tool_choice. Anda dapat mengoptimalkan dengan mengurangi kompleksitas alat. Gabungkan alat terkait ke dalam skema tunggal. Ini mengurangi jumlah token per permintaan.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Pantau penggunaan token Anda dengan hati-hati. Volume panggilan fungsi yang tinggi dapat menggandakan biaya input Anda. Gunakan caching untuk definisi alat jika memungkinkan. Ini membantu menjaga kredit prabayar Anda bertahan lebih lama.
Mengapa penolakan gratis tetapi percobaan ulang tidak
Penolakan gratis karena tidak ada token yang dihasilkan. Jika model menolak permintaan karena konten atau format, Anda tidak membayar apa pun. Ini adalah manfaat utama dari penagihan pra-dibayar.
Retri tidak gratis. Jika Anda mengirim permintaan dan mendapatkan error, Anda mungkin perlu melakukan retrik. Setiap retrik mengonsumsi token. Error gratis, tetapi retrik tidak.
API kami hanya mengenakan biaya untuk penggunaan token nyata. Jika permintaan gagal sebelum generasi token, Anda tidak membayar apa pun. Jika gagal setelahnya, Anda membayar untuk apa yang dihasilkan. Transparansi ini mencegah biaya tersembunyi.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Penolakan bernilai nol kredit.
- Retri menguras anggaran Anda.
- Kesalahan gratis jika tidak ada token yang dihasilkan.
- Pantau percobaan ulang untuk mengoptimalkan efisiensi.
Biaya format mode JSON
Biaya format mode JSON identik dengan mode teks standar. Anda membayar untuk token dalam output JSON. Formatnya tidak menambah biaya tambahan.
Namun, output JSON sering memerlukan lebih banyak token daripada teks biasa. Model mungkin menambahkan spasi ekstra atau kunci untuk memastikan JSON yang valid. Ini meningkatkan biaya output Anda.
API kami mendukung mode JSON melalui response_format. Anda dapat memaksakan output JSON yang ketat. Ini memastikan kompatibilitas dengan kode klien Anda. Biayanya per token, bukan per format.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Optimalkan skema JSON Anda untuk mengurangi jumlah token. Hapus kunci yang tidak perlu. Gunakan nama variabel yang lebih pendek. Ini membantu meminimalkan biaya sambil mempertahankan integritas data.
Membandingkan biaya proksi dengan harga vendor langsung
Biaya proxy sering lebih rendah daripada harga vendor langsung karena Anda hanya membayar untuk token. Vendor langsung mungkin membebankan biaya untuk waktu aktif, dukungan, atau versi model. API kami membebankan $0.15 per 1M token input dan $0.50 per 1M token output.
Vendor langsung seperti Anthropic atau OpenAI memiliki tier harga yang kompleks. Mereka mungkin mengenakan tarif berbeda untuk model yang berbeda. API kami menawarkan satu model uncensored. Ini menyederhanakan penagihan.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);- Penagihan proxy transparan dan pra-dibayar.
- Vendor langsung mungkin memiliki biaya tersembunyi.
- Model kami tanpa sensor dan open-weight.
- Bandingkan jumlah token, bukan hanya harga.
Menghitung biaya efektif per percakapan
Biaya efektif per percakapan bergantung pada penggunaan token. Hitung total token yang dikirim dan diterima. Kalikan dengan tarif per juta token. Ini memberikan biaya yang tepat.
Misalnya, jika percakapan menggunakan 10.000 token input dan 5.000 token output, biayanya adalah $0.0015 + $0.0025 = $0.004. Ini sangat kecil untuk sebagian besar penggunaan.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'Lacak panjang rata-rata percakapan Anda. Optimalkan prompt untuk mengurangi token input. Ini membantu Anda memprediksi biaya secara akurat. Kredit prabayar tidak pernah kedaluwarsa, sehingga Anda dapat merencanakan jangka panjang.
Menghindari kesalahan double-charge dengan kredit pra-bayar
Pembebanan ganda jarang terjadi tetapi mungkin. Jika Anda mengisi ulang melalui kripto, pastikan Anda mengirim jumlah yang benar. API kami hanya membebankan biaya untuk penggunaan token yang sebenarnya. Kesalahan diperbaiki melalui halaman Dukungan.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)- Verifikasi hash transaksi sebelum top up.
- Periksa saldo Anda setelah setiap permintaan.
- Laporkan error segera untuk pengembalian dana.
- Jaga catatan transaksi Anda.
