Bugetul de crawlare (crawl budget) este numarul de pagini pe care un motor de cautare precum Google este dispus si capabil sa le acceseze (crawleze) de pe un site intr-o perioada data de timp, determinat de dimensiunea si viteza site-ului, popularitatea sa si frecventa actualizarilor.
Pe site-uri mari (eCommerce cu mii de produse, publishers cu arhive extinse), gestionarea eficienta a bugetului de crawlare – prin blocarea paginilor fara valoare in robots.txt, eliminarea lanturilor de redirect si optimizarea structurii interne de linkuri – este esentiala pentru a te asigura ca paginile importante sunt descoperite si reindexate rapid.
De ce este important
Pentru site-uri mici cu cateva sute de pagini, bugetul de crawlare rareori este o problema; pentru site-uri mari, o gestionare proasta poate duce la pagini noi sau actualizate care nu sunt crawlate si indexate timp de saptamani.