Directivele robots.txt sunt reguli scrise in fisierul text robots.txt, plasat la radacina unui domeniu, care instruiesc crawlerele motoarelor de cautare despre care sectiuni ale site-ului pot sau nu pot fi accesate pentru crawling, folosind directive precum Disallow, Allow sau Sitemap.
Robots.txt controleaza doar accesul la crawling, nu la indexare – o pagina blocata prin Disallow poate totusi aparea in rezultatele de cautare fara descriere, daca este linkata extern, pentru a o exclude complet fiind necesar un tag noindex accesibil crawlerului.
De ce este important
O directiva Disallow gresita, aplicata accidental intregului site sau sectiunilor critice precum /blog/ sau /produse/, poate bloca accesul motoarelor de cautare la continut valoros, cu impact sever asupra traficului organic.