X-Robots-Tag este echivalentul header-ului HTTP al meta tagului robots, permitand aplicarea directivelor de indexare (noindex, nofollow etc.) la nivel de server, in antetul raspunsului HTTP, in loc de a le plasa in codul HTML al paginii.
Acest header este esential pentru fisiere care nu sunt HTML si nu pot contine un meta tag in <head>, cum ar fi PDF-uri, imagini sau alte tipuri de fisiere, permitand totusi controlul indexarii acestora.
De ce este important
X-Robots-Tag ofera flexibilitate pentru a aplica directive de indexare la scara, de exemplu pentru a exclude automat toate fisierele PDF dintr-un anumit director, fara a edita manual fiecare fisier individual.