Token-laskennan ymmärtäminen rajoittamattomissa malleissa
Jokaisen osion ensimmäinen lause vastaa osion otsikossa esitettyyn kysymykseen. Token-laskenta on LLM-proxy-palveluiden laskutuksen perusyksikkö. Maksat jokaisesta promptissa lähetetystä tokenista ja jokaisesta vastauksessa tuotetusta tokenista. Tämä sisältää järjestelmäohjeet, keskusteluhistorian ja muotoilumerkit.
Monet kehittäjät olettavat, että vain näkyvä teksti lasketaan. Tämä on virheellinen käsitys. Jokainen välilyönti, rivinvaihto ja JSON-sulke kuluttavat token. Kun käytät sensuroimatonta mallia, konteksti-ikkona täyttyy nopeammin, koska nämä mallit vaativat usein yksityiskohtaisempaa päättelykykyä koherenssin ylläpitämiseksi ilman turvasuodattimia.
API-mmeiden hinnasto on $0,15 miljoonaa syöttötokenia kohden ja $0,50 miljoonaa tulostustokenia kohden. Tämä hinta koskee todellista token-käyttöä. Virheet eivät veloita sinulta. Hylätyt vastaukset ovat ilmaisia. Tämä rakenne varmistaa, että maksat vain todellisesta laskentatyöstä.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Laske kaikki merkit järjestelmäpromptistasi.
- Sisällytä keskusteluhistoria syöttölaskentaasi.
- Korvaus JSON-formaattorin ylikuormitukselle.
- Varmista tokenien lukumäärät ennen suurten kuormien lähettämistä.
Kontekstiluukun ansa: 100 k syöte vs. 16 k tuloste
API:emme tarjoaa 100 000 tokentin konteksti-ikkunan, mutta voit tuottaa vain 16 000 tokentia pyyntöä kohden. Tämä epäsymmetria luo laskutusloukun käyttäjille, jotka olettavat äärettömän tulostuksen.
Jos syöteesi sisältää 90 000 tokkia, sinulla on vain 10 000 tokkia jäljellä tulostukseen. Jos pyydät enintään 16 000 tokkia, malli lopettaa tuotannon ennenaikaisesti. Maksat kuitenkin tuotetuista tokkeista. Tämä ei ole virhe. Se on suuren kontekstityöpöydän ominaisuus.
Monet käyttäjät tuhlaavat luottoa asettamalla max_tokens liian korkeaksi. Jos malli loppuu kontekstista, se pysähtyy luonnollisesti. Maksetaan siitä, mitä se tuottaa. Et maksa siitä, mitä se ei voinut tuottaa.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Seuraa aina jäljellä olevaa kontekstiasi. Käytä /v1/models-päätepistettä varmistaaksesi nykyiset rajat. Säädä kehotteen pituutta jättääksesi tilaa ulostulolle. Tämä estää yllättävät laskut katkaistuista vastauksista.
Virtaavat vastaukset ja viimeisen lohkon laskutus
Streamaus ei muuta kokonaiskustannuksia. Maksat samoista tokenneista riippumatta siitä, saavatko ne sinulle välittömästi vai kerralla. Ero on siinä, miten seuraat käyttöä.
Kun suoratoitat, vastaanotat useita lohkoja. Jokainen lohko sisältää osan vastauksesta. Viimeisin lohko sisältää merkkimäärän yhteenveton. Tämä on kohta, jossa tarkistat tarkan merkkimäärän.
Jotkut välittäjät veloittavat palan mukaan. Me emme tee niin. Me veloitamme generoiduista kokonaistokenneista. Streamaus on käyttäjäkokemuksen vuoksi, ei laskutustehokkuuden vuoksi.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)- Streamaa reaaliaikaisiin käyttöliittymäpäivityksiin.
- Ignoreera laskutuksen välileikkaukset.
- Lue viimeinen lohko token-laskelmien saamiseksi.
- Varmista, että käyttö vastaa odotuksiasi.
Toimintojen kutsumisen ylikuormitus työkalujen käytössä
Funktikutsu lisää merkittävää ylikuormitusta, koska työkalumääritykset toistetaan jokaisessa pyynnössä. Jokaisella funktiokutsulla mallin täytyy lukea työkaluskeema uudelleen.
Jos sinulla on viisi työkalua, joista kullakin on 1 000 tokenin määritelmät, lisäät 5 000 tokenia jokaiseen pyyntöön. Tämä lisää syötön kustannuksia merkittävästi. Pitkissä keskusteluissa tämä lisäkuorma kumuloituu.
API-tukemme tukee toimintokutsua ja työkaluvalintaa (tool_choice). Voit optimoida vähentämällä työkalujen monimutkaisuutta. Yhdistä yhteen liittyvät työkalut yksittäisiin skeemoihin. Tämä vähentää tokenimäärää pyyntöä kohden.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Seuraa token-käyttöä tarkasti. Korkea toimintokutsujen määrä voi kaksinkertaistaa syöttökustannuksesi. Käytä välimuistia työkalumäärittelyihin mahdollisuuksien mukaan. Tämä auttaa pitämään esimaksutun saldon pidempään.
Miksi hylkäykset ovat ilmaisia, mutta uudelleenyritykset eivät
Hylkäykset ovat ilmaisia, koska token-ei tuotettu. Jos malli hylkää pyynnön sisällön tai muodon vuoksi, et maksa mitään. Tämä on avainetu prepaid-laskutuksessa.
Toistot eivät ole ilmaisia. Jos lähetät pyynnön ja saat virheen, sinun täytyy ehkä toistaa se. Jokainen toisto kuluttaa tokenneja. Virheet ovat ilmaisia, mutta toistot eivät.
API-mme laskutetaan vain todellisista tokenneista. Jos pyyntö epäonnistuu ennen tokenien tuottamista, et maksa mitään. Jos se epäonnistuu sen jälkeen, maksat tuotetuista tokenneista. Tämä läpinäkyvyys estää piilokulut.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'- Hylkäykset maksavat nolla krediittiä.
- Toistot kuluttavat budjettiasi.
- Virheet ovat ilmaisia, jos token-ei tuoteta.
- Seuraa uudelleenyrityksiä optimoidaksesi tehokkuuden.
JSON-tilan muotoilukustannukset
JSON-tilan muotoilukustannukset ovat samat kuin tavallisessa tekstitilassa. Maksat JSON-tulosteen tokenit. Muotoilu ei aiheuta lisämaksuja.
Vaikka JSON-tulos vaatii usein enemmän tokeniä kuin tavallinen teksti. Mallit voivat lisätä ylimääräistä välilyöntiä tai avaimia varmistaakseen kelvollisen JSONin. Tämä lisää tuloksesi kustannuksia.
API-tukemme tukee JSON-tilaa kautta response_format. Voit pakottaa tiukan JSON-tuloksen. Tämä varmistaa yhteensopivuuden asiakaskoodisi kanssa. Kustannus on tokenia kohti, ei muotoa kohti.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Optimoi JSON-skeemasi vähentääksesi token-määrää. Poista tarpeettomat avaimet. Käytä lyhyempiä muuttujanimiä. Tämä auttaa minimoimaan kustannukset säilyttäen data-integriteetin.
Välittäjäkustannusten vertailu suoraan valmistajan hintoihin
Proxy-kustannukset ovat usein alhaisemmat kuin suorat toimittajahinnat, koska maksat vain tokenteista. Suorat toimittajat voivat periä maksua ylläpidosta, tuesta tai malliversiointista. API-mme laskuttaa $0.15 miljoonaa syöttötokenttia kohden ja $0.50 miljoonaa tulostustokenttia kohden.
Suorat toimittajat kuten Anthropic tai OpenAI tarjoavat monimutkaisia hinnoittelutasoja. He voivat periä eri hinnan eri malleille. API:emme tarjoaa yhden suojattoman mallin. Tämä yksinkertaistaa laskutusta.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudeapiproxy.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);- Proxy-laskutus on läpinäkyvää ja esimaksua.
- Suorat toimittajat voivat periä piilotettuja maksuja.
- Mallimme on sensuroimaton ja avoimen painotuksen omaava.
- Vertaa tokenmääriä, äläkä vain hintoja.
Lasketaan tehollinen kustannus per keskustelu
Tehokas kustannus per keskustelu riippuu tokenien käytöstä. Laske lähetettyjen ja vastaanotettujen tokenien kokonaismäärä. Kerro tämä hinnalla miljoonaa tokenia kohti. Tämä antaa tarkan kustannuksen.
Esimerkiksi jos keskustelu käyttää 10 000 syötetokenia ja 5 000 tulostustokenia, kustannus on 0,0015 $ + 0,0025 $ = 0,004 $. Tämä on merkityksetöntä useimmissa käyttötarkoituksissa.
curl https://api.claudeapiproxy.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "get the current server time in ISO format"}]
}'Seuraa keskimääräistä keskustelun pituutta. Optimoi promptit vähentääksesi syöte-tokenia. Tämä auttaa ennustamaan kustannuksia tarkasti. Esimaksukrediitti vanhenee, joten voit suunnitella pitkän aikavälin.
Kaksoisperusteisten virheiden välttäminen esimaksukrediitillä
Kaksoisveloitukset ovat harvinaisia, mutta mahdollisia. Jos teet lisäyksen kryptolla, varmista, että lähetät oikean määrän. API-veloituksemme perustuvat vain todelliseen token-käyttöön. Virheet korjataan Tuki-sivun kautta.
from openai import OpenAI
client = OpenAI(base_url="https://api.claudeapiproxy.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)- Varmista transaktiovahinkot ennen lisäystä.
- Tarkista saldo pyynnön jälkeen.
- Ilmoita virheet viipymättä hyvityksiä varten.
- Pidä kirjaa tapahtumistasi.
