Meta tagul robots este un element HTML plasat in sectiunea <head> a unei pagini, care instruieste motoarele de cautare cum sa trateze pagina respectiva din punct de vedere al indexarii si al urmaririi linkurilor. Valorile comune includ „index, follow” (implicit), „noindex” (nu indexa pagina), „nofollow” (nu urma linkurile de pe pagina) si combinatii ale acestora.
Diferenta fata de fisierul robots.txt este esentiala: robots.txt blocheaza accesul crawlerelor la o pagina, in timp ce meta tagul robots permite crawlerului sa acceseze pagina, dar ii instruieste explicit sa nu o indexeze – motiv pentru care „noindex” este metoda corecta pentru a elimina definitiv o pagina deja indexata din rezultatele cautarii.
De ce este important
Folosirea gresita a robots.txt pentru a bloca o pagina deja indexata nu o va elimina din index; e necesar meta tagul noindex pentru acest scop.