Hiểu việc đếm token trong các mô hình không kiểm duyệt
Câu đầu tiên của mỗi phần trả lời câu hỏi trong tiêu đề của phần đó. Đếm token là đơn vị cơ bản của việc tính phí cho bất kỳ proxy LLM nào. Bạn trả tiền cho mọi token được gửi trong lời nhắc và mọi token được tạo ra trong phản hồi. Điều này bao gồm hướng dẫn hệ thống, lịch sử cuộc trò chuyện và các ký tự định dạng.
Nhiều nhà phát triển cho rằng chỉ có văn bản hiển thị mới quan trọng. Điều này không đúng. Mọi khoảng trắng, ký tự xuống dòng và dấu ngoặc JSON đều tiêu thụ token. Khi bạn sử dụng mô hình không kiểm duyệt, cửa sổ ngữ cảnh sẽ đầy nhanh hơn vì các mô hình này thường yêu cầu lập luận chi tiết hơn để duy trì tính nhất quán mà không có bộ lọc an toàn.
API của chúng tôi tính $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra. Mức giá này áp dụng cho việc sử dụng token thực tế. Lỗi không tính phí bạn. Từ chối miễn phí. Cấu trúc này đảm bảo bạn chỉ trả tiền cho việc tính toán thực tế.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Đếm mọi ký tự trong prompt hệ thống của bạn.
- Bao gồm lịch sử trò chuyện trong bộ đếm đầu vào của bạn.
- Tính toán chi phí do độ cồng kềnh của định dạng JSON.
- Kiểm tra số lượng token trước khi gửi các tải trọng lớn.
Cửa bẫy cửa sổ ngữ cảnh: 100k đầu vào so với 16k đầu ra
API của chúng tôi cung cấp cửa sổ ngữ cảnh 100.000 token, nhưng bạn chỉ có thể tạo 16.000 token cho mỗi yêu cầu. Sự bất đối xứng này tạo ra một cái bẫy tính phí cho người dùng giả định rằng đầu ra là vô hạn.
Nếu prompt của bạn tiêu thụ 90.000 token, bạn chỉ còn 10.000 token dành cho đầu ra. Nếu bạn yêu cầu tối đa 16.000 token, mô hình sẽ dừng sớm. Bạn vẫn phải trả tiền cho các token thực tế đã được tạo. Đây không phải là lỗi. Đây là tính năng của các cửa sổ ngữ cảnh lớn.
Nhiều người dùng lãng phí tín dụng bằng cách đặt max_tokens quá cao. Nếu mô hình hết ngữ cảnh, nó sẽ dừng lại một cách tự nhiên. Bạn trả tiền cho những gì nó tạo ra. Bạn không trả tiền cho những gì nó không thể tạo ra.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Luôn giám sát ngữ cảnh còn lại của bạn. Sử dụng điểm cuối /v1/models để xác minh các giới hạn hiện tại. Điều chỉnh độ dài lời nhắc của bạn để dành chỗ cho phần đầu ra. Điều này ngăn ngừa các khoản phí không mong muốn từ các phản hồi bị cắt xén.
Phản hồi dạng stream và thanh toán chunk cuối cùng
Streaming không làm thay đổi tổng chi phí. Bạn trả tiền cho cùng một lượng token bất kể bạn nhận chúng ngay lập tức hay cùng một lúc. Sự khác biệt nằm ở cách bạn theo dõi mức sử dụng.
Khi phát trực tiếp, bạn nhận được nhiều đoạn dữ liệu. Mỗi đoạn chứa một phần của phản hồi. Đoạn cuối cùng chứa tóm tắt mức sử dụng token. Đây là nơi bạn xác minh chính xác số lượng token.
Một số proxy tính phí theo từng chunk. Proxy của chúng tôi thì không. Chúng tôi tính phí cho tổng số token được tạo. Chế độ phát trực tuyến là cho trải nghiệm người dùng, không phải hiệu quả tính phí.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)- Luồng để cập nhật giao diện người dùng theo thời gian thực.
- Bỏ qua các đoạn trung gian để tính phí.
- Đọc đoạn dữ liệu cuối cùng để lấy số lượng token.
- Xác minh việc sử dụng phù hợp với kỳ vọng của bạn.
Chi phí gọi hàm trong việc sử dụng công cụ
Function calling thêm chi phí quá tải đáng kể vì các định nghĩa công cụ được lặp lại trong mọi yêu cầu. Mỗi lần bạn gọi một hàm, mô hình phải đọc lại lược đồ công cụ.
Nếu bạn có năm công cụ, mỗi công cụ có 1.000 token định nghĩa, bạn sẽ thêm 5.000 token vào mọi yêu cầu. Điều này làm tăng đáng kể chi phí đầu vào của bạn. Đối với các cuộc trò chuyện dài, chi phí bổ sung này tích lũy lại.
API của chúng tôi hỗ trợ gọi hàm với tools và tool_choice. Bạn có thể tối ưu hóa bằng cách giảm độ phức tạp của công cụ. Kết hợp các công cụ liên quan vào các lược đồ đơn lẻ. Điều này giảm số lượng tokens cho mỗi yêu cầu.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Theo dõi việc sử dụng token của bạn cẩn thận. Khối lượng lệnh gọi hàm cao có thể làm tăng gấp đôi chi phí đầu vào của bạn. Sử dụng bộ nhớ đệm cho các định nghĩa công cụ nếu có thể. Điều này giúp giữ cho tín dụng trả trước của bạn kéo dài hơn.
Tại sao từ chối miễn phí nhưng thử lại thì không
Lỗi từ chối miễn phí vì không có token nào được tạo ra. Nếu mô hình từ chối yêu cầu do nội dung hoặc định dạng, bạn không phải trả tiền. Đây là một lợi ích chính của việc thanh toán trước.
Các lần thử lại không miễn phí. Nếu bạn gửi một yêu cầu và nhận được lỗi, bạn có thể cần thử lại. Mỗi lần thử lại đều tiêu tốn token. Lỗi thì miễn phí, nhưng các lần thử lại thì không.
API của chúng tôi chỉ tính phí cho token thực tế. Nếu yêu cầu thất bại trước khi tạo token, bạn không phải trả gì. Nếu thất bại sau đó, bạn trả tiền cho những gì đã được tạo. Sự minh bạch này ngăn chặn các khoản phí ẩn.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Lỗi từ chối không tốn phí tín dụng.
- Các lần thử lại tiêu tốn ngân sách của bạn.
- Lỗi miễn phí nếu không có token nào được tạo.
- Theo dõi các lần thử lại để tối ưu hóa hiệu quả.
Chi phí định dạng chế độ JSON
Chi phí định dạng chế độ JSON giống hệt với chế độ văn bản tiêu chuẩn. Bạn trả tiền cho các token trong đầu ra JSON. Định dạng không thêm phí phát sinh.
Tuy nhiên, đầu ra JSON thường yêu cầu nhiều token hơn văn bản thuần túy. Các mô hình có thể thêm khoảng trắng hoặc khóa bổ sung để đảm bảo JSON hợp lệ. Điều này làm tăng chi phí đầu ra của bạn.
API của chúng tôi hỗ trợ chế độ JSON thông qua response_format. Bạn có thể bắt buộc đầu ra JSON nghiêm ngặt. Điều này đảm bảo tương thích với mã máy khách của bạn. Chi phí tính theo token, không theo định dạng.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Tối ưu hóa lược đồ JSON của bạn để giảm số lượng token. Loại bỏ các khóa không cần thiết. Sử dụng tên biến ngắn hơn. Điều này giúp giảm thiểu chi phí trong khi vẫn duy trì tính toàn vẹn của dữ liệu.
So sánh chi phí proxy với giá nhà cung cấp trực tiếp
Chi phí Proxy thường thấp hơn giá bán lẻ của nhà cung cấp vì bạn chỉ trả tiền cho token. Các nhà cung cấp trực tiếp có thể tính phí cho thời gian hoạt động, hỗ trợ hoặc phiên bản mô hình. API của chúng tôi tính $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra.
Các nhà cung cấp trực tiếp như Anthropic hoặc OpenAI có các phân khúc giá phức tạp. Họ có thể tính các mức giá khác nhau cho các mô hình khác nhau. API của chúng tôi cung cấp một mô hình không kiểm duyệt duy nhất. Điều này đơn giản hóa việc tính phí.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);- Hóa đơn Proxy minh bạch và trả trước.
- Các nhà cung cấp trực tiếp có thể có phí ẩn.
- Mô hình của chúng tôi không kiểm duyệt và có trọng lượng mở.
- So sánh số lượng token, không chỉ giá cả.
Tính toán chi phí hiệu quả cho mỗi cuộc hội thoại
Chi phí hiệu quả cho mỗi cuộc hội thoại phụ thuộc vào việc sử dụng token. Tính tổng số token gửi và nhận. Nhân với tỷ lệ trên mỗi triệu token. Điều này cho bạn biết chính xác chi phí.
Ví dụ, nếu một cuộc hội thoại sử dụng 10.000 token đầu vào và 5.000 token đầu ra, chi phí là $0.0015 + $0.0025 = $0.004. Điều này là không đáng kể đối với hầu hết các mục đích sử dụng.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'Theo dõi độ dài trung bình của cuộc hội thoại. Tối ưu hóa các prompt để giảm token đầu vào. Điều này giúp bạn dự đoán chi phí chính xác. Credit trả trước không bao giờ hết hạn, vì vậy bạn có thể lập kế hoạch dài hạn.
Tránh các lỗi tính phí kép với tín dụng trả trước
Lỗi tính phí kép hiếm khi xảy ra nhưng vẫn có thể. Nếu bạn nạp tiền qua tiền điện tử, hãy đảm bảo bạn gửi đúng số tiền. API của chúng tôi chỉ tính phí cho việc sử dụng token thực tế. Các lỗi được sửa chữa thông qua trang Hỗ trợ.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)- Kiểm tra các giao dịch hash trước khi nạp tiền.
- Kiểm tra số dư của bạn sau mỗi yêu cầu.
- Báo cáo lỗi ngay lập tức để được hoàn tiền.
- Giữ hồ sơ giao dịch của bạn.
