Un token este unitatea de baza prin care un model de limbaj proceseaza textul — poate fi un cuvant intreg, o parte dintr-un cuvant mai lung sau un semn de punctuatie — si sta la baza masurarii costurilor si a limitelor de context ale modelelor AI.
Puncte cheie
- Textul este impartit in tokeni inainte de a fi procesat de un model de limbaj, printr-un proces numit tokenizare.
- In limba engleza, un token reprezinta in medie aproximativ 0,75 cuvinte; in limbi cu structuri morfologice mai complexe, raportul poate varia.
- Costul utilizarii multor modele AI este calculat pe baza numarului de tokeni procesati, atat la intrare cat si la iesire.
- Fereastra de context a unui model este masurata in tokeni, nu in cuvinte sau caractere.
Exemplu practic
O propozitie simpla poate fi impartita in 8-10 tokeni, in timp ce un cuvant tehnic lung sau un termen rar poate fi impartit in mai multi tokeni decat te-ai astepta la prima vedere.
De ce conteaza
Intelegerea tokenizarii ajuta la estimarea costurilor de utilizare a API-urilor AI si la planificarea continutului astfel incat sa se incadreze in limitele ferestrei de context.
Intrebari frecvente
Un token este egal cu un caracter?
Nu, un token este de obicei mai lung decat un caracter si poate reprezenta un cuvant intreg sau o parte dintr-un cuvant.
De ce conteaza numarul de tokeni pentru costuri?
Majoritatea API-urilor AI taxeaza in functie de numarul de tokeni trimisi si generati, nu de numarul de cuvinte.