Robots.txt

SEO

Robots.txt este un fisier text plasat la radacina unui domeniu (ex: exemplu.ro/robots.txt) care instruieste crawlerele motoarelor de cautare care sectiuni ale site-ului au sau nu au permisiunea de a fi accesate. Fisierul foloseste directive simple precum User-agent, Disallow si Allow pentru a controla comportamentul de crawling.

Important: robots.txt controleaza doar accesul la crawling, nu indexarea. O pagina blocata prin robots.txt poate aparea totusi in rezultatele cautarii (fara continut descriptiv) daca este linkuita de alte surse, pentru ca Google ii cunoaste existenta, chiar daca nu ii poate accesa continutul.

De ce este important

Un fisier robots.txt configurat gresit poate bloca accidental sectiuni intregi ale site-ului de la indexare, cu impact direct asupra vizibilitatii organice. Verificarea periodica a robots.txt este un pas standard de audit tehnic SEO.

← Toti termenii din SEO Glosar complet