Controlul ratei de crawling (crawl rate control) se refera la metodele disponibile pentru a influenta cat de intens si cat de frecvent un motor de cautare acceseaza un site – inclusiv setari in Google Search Console, directive robots.txt sau raspunsuri de server intentionate (codul 429, Too Many Requests) pentru a semnala o limitare temporara.
Controlul ratei de crawling devine relevant in special pentru servere cu resurse limitate care pot fi suprasolicitate de un crawling agresiv, sau pentru a proteja resursele serverului in perioade de trafic ridicat planificat.
De ce este important
O rata de crawling necontrolata pe un server slab poate cauza intreruperi de serviciu pentru utilizatorii reali, facand controlul atent al acestei rate o practica tehnica necesara pentru site-urile cu resurse server limitate.