Crawl Budget

SEO

Crawl Budget reprezinta numarul de pagini pe care Googlebot le poate si vrea sa le acceseze pe un site intr-o perioada data, determinat de limita de rata de crawling (cat de des poate accesa serverul fara a-l incarca excesiv) si de cererea de crawling (cat de mult isi doreste Google sa recrawleze paginile, in functie de popularitate si prospetime).

Pentru site-uri mari (sute de mii sau milioane de pagini), gestionarea eficienta a crawl budget-ului este critica: paginile cu valoare redusa (parametri URL duplicati, pagini de filtrare, continut arhivat) pot consuma resurse de crawling care ar trebui alocate paginilor importante. Pentru site-uri mici, crawl budget-ul rareori este o problema reala.

De ce este important

Daca Googlebot isi consuma bugetul de crawling pe pagini irelevante, paginile noi sau actualizate importante pot fi descoperite si indexate mai lent. Optimizarea crawl budget-ului implica blocarea prin robots.txt a sectiunilor fara valoare, consolidarea continutului duplicat si imbunatatirea vitezei serverului.

← Toti termenii din SEO Glosar complet