Fereastra de context (context window) reprezinta cantitatea maxima de text, masurata in tokeni, pe care un model de limbaj o poate procesa simultan intr-o conversatie sau interogare.
Puncte cheie
- Este masurata in tokeni, nu in cuvinte, iar un token poate reprezenta un cuvant intreg sau doar o parte dintr-un cuvant mai lung.
- Odata atinsa limita, modelul poate pierde informatii din partea initiala a conversatiei sau a documentului procesat.
- O fereastra de context mai mare permite analiza unor documente lungi sau a unor conversatii extinse fara a pierde continuitatea.
- Diferite modele au ferestre de context diferite, de la cateva mii la sute de mii de tokeni.
Exemplu practic
Un model cu o fereastra de context mica poate avea dificultati sa rezume corect un document foarte lung, in timp ce un model cu o fereastra mare poate procesa intregul document dintr-o singura solicitare.
De ce conteaza
Dimensiunea ferestrei de context influenteaza cat de mult continut poate procesa un model dintr-o pagina sau un set de documente la un moment dat, relevant pentru continutul lung sau tehnic.
Intrebari frecvente
Un token este egal cu un cuvant?
Nu intotdeauna; un token poate fi un cuvant intreg, o parte dintr-un cuvant mai lung sau un semn de punctuatie.
Fereastra de context afecteaza AI Search?
Indirect, da — continutul structurat clar si impartit logic este mai usor de procesat in limitele ferestrei de context.