Розуміння підрахунку токенів у необмежених моделях
Перше речення кожного розділу відповідає на запитання в його заголовку. Підрахунок токенів — це фундаментальна одиниця розрахунку для будь-якого LLM-проксі. Ви платите за кожен токен, надісланий у промпті, і за кожен токен, згенерований у відповіді. Це включає системні інструкції, історію розмови та символи форматування.
Багато розробників припускають, що враховується лише видимий текст. Це не так. Кожний пробіл, новий рядок і фігурна дужка JSON споживають токени. Коли ви використовуєте uncensored-модель, вікно контексту заповняється швидше, оскільки такі моделі часто потребують більш розгорнутого міркування для підтримки зв'язності без фільтрів безпеки.
Наш API стягує $0.15 за 1 млн входних токенів та $0.50 за 1 млн вихідних токенів. Ця ставка застосовується до фактичного використання токенів. Помилки не нараховують вам кошти. Відмови безкоштовні. Така структура гарантує, що ви платите лише за фактичні обчислення.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Порахуйте кожен символ у системному запиті.
- Включіть історію розмови у підрахунок вхідних токенів.
- Врахувати накладні витрати на форматування JSON.
- Перевірте кількість токенів перед надсиланням великих пакетів даних.
Пастка вікна контексту: 100k вхідних проти 16k вихідних
Наш API надає контекстне вікно на 100,000 токенів, але ви можете генерувати лише 16,000 токенів за запит. Ця асиметрія створює пастку для билінгу для користувачів, які припускають нескінченний вивід.
Якщо ваш запит містить 90 000 токенів, у вас залишається лише 10 000 токенів для виводу. Якщо ви запитуєте максимум 16 000 токенів, модель зупиниться раніше. Ви все одно платите за фактично згенеровані токени. Це не помилка. Це особливість великих вікон контексту.
Багато користувачів марнують кредит, встановлюючи max_tokens занадто високим. Якщо моделі закінчується контекст, вона зупиняється природним чином. Ви платите за те, що вона генерує. Ви не платите за те, що вона не змогла згенерувати.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Завжди моніторьте залишок вашого контексту. Використовуйте кінцеву точку /v1/models для перевірки поточних лімітів. Регулюйте довжину підказки, щоб залишити місце для виводу. Це запобігає несподіваним зборам за обрізані відповіді.
Потокова передача відповідей та оплата за фінальний фрагмент
Потокова передача не змінює загальну вартість. Ви платите за ті ж самі токени, незалежно від того, чи отримуєте ви їх миттєво, чи всі одразу. Різниця полягає в тому, як ви відстежуєте використання.
Під час потокової передачі ви отримуєте кілька фрагментів. Кожен фрагмент містить частину відповіді. Останній фрагмент містить зведення про використання токенів. Саме тут ви можете перевірити точну кількість токенів.
Деякі проксі беруть плату за кожен фрагмент (chunk). Наші — ні. Ми беремо плату за загальну кількість згенерованих токенів. Режим потокової передачі (streaming) призначений для покращення користувацького досвіду, а не для ефективності билінгу.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)- Потокова передача для оновлень інтерфейсу в реальному часі.
- Ігноруйте проміжні фрагменти для розрахунку вартості.
- Прочитайте останній чанк для підрахунку токенів.
- Перевірте, чи відповідає використання вашим очікуванням.
Накладні витрати при використанні інструментів
Виклик функцій додає значні накладні витрати, оскільки визначення інструментів повторюються в кожному запиті. Щоразу, коли ви викликаєте функцію, моделі потрібно знову читати схему інструмента.
Якщо у вас є п'ять інструментів, кожен з 1,000 токенів визначень, ви додаєте 5,000 токенів до кожного запиту. Це значно збільшує ваші витрати на вхідні дані. Для довгих розмов цей накладний витрат накопичується.
Наш API підтримує виклик функцій із tool_choice. Ви можете оптимізувати процес, зменшуючи складність інструментів. Об’єднуйте пов’язані інструменти в єдині схеми. Це зменшує кількість токенів на запит.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Уважно відстежуйте використання токенів. Високе навантаження від викликів функцій може подвоїти ваші вхідні витрати. Використовуйте кешування для визначень інструментів, якщо це можливо. Це допомагає зберегти ваш попередньо оплачений кредит на довший термін.
Чому відмови безкоштовні, а повторні спроби — ні
Відмови безкоштовні, тому що токени не були згенеровані. Якщо модель відхиляє запит через вміст або формат, ви не платите нічого. Це ключова перевага передоплаченої системи розрахунків.
Повторні спроби не є безкоштовними. Якщо ви надсилаєте запит і отримуєте помилку, вам може знадобитися повторна спроба. Кожна повторна спроба споживає токени. Помилки є безкоштовними, але повторні спроби — ні.
Наш API стягує плату лише за реальне використання токенів. Якщо запит завершується невдало до генерації токенів, ви нічого не платите. Якщо ж він завершується невдало після, ви платите лише за згенеровані токени. Ця прозорість запобігає появі прихованих зборів.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Відмови коштують нуль кредитів.
- Повторні спроби споживають ваш бюджет.
- Помилки безкоштовні, якщо токени не згенеровано.
- Моніторьте повторні спроби для оптимізації ефективності.
Вартість форматування в режимі JSON
Вартість форматування в режимі JSON ідентична вартості звичайного текстового режиму. Ви платите за токени в виводі JSON. Формат не додає додаткових зборів.
Однак вивід у форматі JSON часто вимагає більше токенів, ніж звичайний текст. Моделі можуть додавати додаткові пробіли або ключі, щоб забезпечити валідність JSON. Це збільшує ваші витрати на вивід.
Наш API підтримує режим JSON через response_format. Ви можете примусово встановити суворий вивід JSON. Це забезпечує сумісність з вашим клієнтським кодом. Вартість нараховується за токен, а не за формат.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Оптимізуйте вашу JSON-схему, щоб зменшити кількість токенів. Видаліть зайві ключі. Використовуйте коротші імена змінних. Це допомагає мінімізувати витрати, зберігаючи цілісність даних.
Порівнюючи витрати на проксі з прямими цінами постачальників
Витрати на Proxy часто нижчі, ніж ціни прямих постачальників, оскільки ви платите лише за токени. Прямі постачальники можуть стягувати плату за час простою, підтримку або версіонування моделі. Наш API стягує $0.15 за 1M вхідних токенів та $0.50 за 1M вихідних токенів.
Прямі постачальники, такі як Anthropic або OpenAI, мають складні рівні ціноутворення. Вони можуть нараховувати різні ставки для різних моделей. Наш API пропонує одну uncensored модель. Це спрощує билінг.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);- Білінг Proxy прозорий та передоплачується.
- Прямі постачальники можуть мати приховані комісії.
- Наша модель не має цензури та має відкриті ваги.
- Порівнюйте кількість токенів, а не лише ціни.
Розрахунок вашої ефективної вартості розмови
Ефективна вартість розмови залежить від використання токенів. Підрахуйте загальну кількість надісланих та отриманих токенів. Помножте на ставку за мільйон токенів. Це дасть вам точну вартість.
Наприклад, якщо розмова використовує 10,000 вхідних токенів і 5,000 вихідних, вартість становить $0.0015 + $0.0025 = $0.004. Це незначна сума для більшості випадків використання.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'Відстежуйте середню довжину розмови. Оптимізуйте промпти, щоб зменшити вхідні токени. Це допомагає точно прогнозувати витрати. Передоплачений кредит ніколи не закінчується, тому ви можете планувати на довгий термін.
Уникнення подвійного списання коштів із передоплатним кредитом
Подвійні списання рідкісні, але можливі. Якщо ви поповнюєте рахунок через крипто, переконайтеся, що надсилаєте правильну суму. Наш API стягує плату лише за реальне використання токенів. Помилки виправляються через сторінку Підтримки.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)- Перевірте хеші транзакцій перед поповненням.
- Перевіряйте баланс після кожного запиту.
- Негайно повідомляйте про помилки для отримання відшкодування.
- Зберігайте записи ваших транзакцій.
