Ebben az útmutatóban
Gyors válasz: angol szövegben egy token kb. 4 karakter vagy 0,75 szó. Magyar szövegnél ugyanaz a tartalom általában több tokent igényel. Illeszd be a szöveged a token kalkulátorba egy azonnali becsléshez.
Az ökölszabály
Az olyan AI modellek, mint a GPT és a Claude, nem egész szavakat olvasnak, hanem tokenekre bontják a szöveget. Egy token lehet egy egész szó, egy szórészlet vagy egy írásjel. Az OpenAI angol szövegre egyszerű közelítést közöl: kb. 4 karakter tokenenként, vagy 75 szavanként kb. 100 token.
Szavakból becsült tokenek
| Szavak | Becsült tokenek |
|---|---|
| 100 | ≈ 133 |
| 250 | ≈ 333 |
| 500 | ≈ 667 |
| 1000 | ≈ 1333 |
| 1500 | ≈ 2000 |
| 2000 | ≈ 2667 |
| 5000 | ≈ 6667 |
| 10 000 | ≈ 13 333 |
Bármilyen szószámhoz oszd el a szavak számát 0,75-tel, vagy szorozd meg 1,33-mal. Magyar szövegnél számíts rá, hogy a valós érték ennél magasabb lehet.
Miért csak becslés?
- A gyakori angol szavak általában egy tokenek, a ritka vagy hosszú szavak több tokenre bomlanak.
- A tokenizálókat főleg angol szövegeken tanítják, ezért a magyar, sok toldalékkal és ékezetes betűvel, általában több tokent igényel ugyanahhoz a gondolathoz.
- A számok, a kód és a sok írásjel karakterenként több tokent használ.
- Minden szolgáltató saját tokenizálót használ.
Kontextusablakok közérthetően
A kontextusablak az a tokenmennyiség, amelyet egy modell egy beszélgetésben kezelni tud, a beküldött és a generált szöveget együtt számolva. A gyakori méretek az angol szabály szerint:
| Kontextusablak | ≈ Szavak | ≈ Oldalak (500 szó/oldal) |
|---|---|---|
| 4000 token | 3000 | 6 |
| 8000 token | 6000 | 12 |
| 32 000 token | 24 000 | 48 |
| 128 000 token | 96 000 | 192 |
| 200 000 token | 150 000 | 300 |
| 1 000 000 token | 750 000 | 1500 |
Egy példa
Egy 1500 szavas cikk az angol szabály szerint kb. 2000 token, ami még egy 8000 tokenes ablaknak is csak kis része. A hossz főleg akkor számít, ha hosszú beszélgetések, nagy dokumentumok vagy sok kód halmozódik fel. A szószámláló is mutat tokenbecslést.
Próbáld ki a kalkulátorokat
Általános tájékoztatás, nem szakmai tanácsadás.