De ce nu funcționează X-Robots-Tag noindex?

Cea mai frecventă cauză este blocarea URL-ului prin robots.txt, situație în care crawlerul nu poate accesa resursa pentru a citi noindex. Verifică și dacă antetul apare în răspunsul HTTP final, inclusiv după redirecționări. Eliminarea din rezultate poate avea loc doar după o nouă accesare și procesare a URL-ului de către motorul de căutare.

Când folosesc X-Robots-Tag în loc de meta robots?

Folosește X-Robots-Tag în special pentru PDF-uri, imagini, fișiere media sau alte resurse fără secțiune HTML head. Pentru paginile HTML, meta robots este adesea mai simplu de administrat la nivel de pagină. Antetul HTTP poate fi preferat și când regulile trebuie aplicate centralizat mai multor URL-uri prin configurația serverului.

Cum elimin un PDF din rezultatele Google fără să îl șterg?

Configurează răspunsul PDF-ului cu directiva X-Robots-Tag: noindex și păstrează fișierul accesibil crawlerului. Nu bloca URL-ul în robots.txt, deoarece regula nu va putea fi citită. Verifică antetul pe răspunsul final al fișierului, apoi așteaptă recrawlarea. PDF-ul va rămâne disponibil utilizatorilor care îi cunosc adresa sau îl accesează din site.

Ce se întâmplă dacă X-Robots-Tag și meta robots se contrazic?

Motoarele de căutare aplică, de regulă, directiva mai restrictivă. De exemplu, un meta robots cu index nu anulează un antet X-Robots-Tag cu noindex. Directivele incompatibile sau repetate pot fi interpretate diferit de crawlere, așa că verifică ambele surse și păstrează o singură regulă coerentă pentru rezultatul urmărit.

Pot aplica X-Robots-Tag doar pentru Googlebot?

Da, directiva poate fi asociată unui anumit agent, de exemplu googlebot, astfel încât regula să vizeze doar crawlerul respectiv. Verifică atent sintaxa și denumirea agentului acceptată de motorul de căutare. Ceilalți roboți pot ignora regula specifică și pot urma directivele generale, dacă acestea există în același răspuns HTTP.

X-Robots-Tag

EN: X-Robots-TagSEO tehnic

X-Robots-Tag — ilustrație din Glosarul SEO 365 · SEO tehnic

Cunoscut și ca: antet X-Robots-Tag, antet HTTP X-Robots-Tag, X-Robots-Tag HTTP header, X-Robots-Tag header

Ce este X-Robots-Tag?

Pe scurt

X-Robots-Tag este un antet de răspuns HTTP care transmite crawlerelor reguli privind indexarea și afișarea unei resurse în rezultatele căutării. Poate fi folosit pentru pagini, imagini, fișiere PDF și alte documente non-HTML. Regulile sunt descoperite numai după ce robotul accesează resursa.

Cum funcționează X-Robots-Tag

X-Robots-Tag este un antet inclus în răspunsul HTTP al unui URL. El reprezintă o metodă de facto pentru comunicarea regulilor de indexare către motoare de căutare, crawlere și alți agenți automatizați. Nu face parte dintr-o specificație oficială, iar regulile sunt respectate doar de roboții cooperanți.

Antetul este util mai ales pentru resurse care nu au o secțiune HTML <head>, precum imaginile, documentele PDF și alte fișiere media. Pentru paginile HTML, reguli similare pot fi transmise prin elementul <meta name="robots">.

Sintaxa de bază este:

X-Robots-Tag: noindex

Mai multe directive pot fi separate prin virgulă. Regulile pot fi aplicate tuturor crawlerelor sau unui agent specific:

X-Robots-Tag: googlebot: noindex, nofollow

Directive uzuale

noindex solicită ca resursa să nu fie afișată în rezultatele căutării. nofollow solicită crawlerului să nu urmeze linkurile din resursă. none este echivalent cu noindex, nofollow. nosnippet împiedică afișarea unui fragment text sau a unei previzualizări video. noimageindex solicită ca imaginile paginii să nu fie indexate.

Alte directive pot limita previzualizările text, video sau imagine, pot împiedica oferirea unei traduceri ori pot solicita eliminarea resursei din rezultate după o dată specificată.

Relația cu robots.txt

Crawlerul trebuie să acceseze URL-ul pentru a descoperi antetul. Dacă resursa este blocată în robots.txt, regula X-Robots-Tag nu poate fi citită și va fi ignorată. Pentru eliminarea din index, URL-ul trebuie să poată fi recrawlat, astfel încât regula noindex să poată fi detectată.

Dacă X-Robots-Tag și meta robots conțin reguli conflictuale, se aplică regula mai restrictivă. Directivele reciproc incompatibile pot produce un comportament nedefinit, diferit între crawlere.

De ce contează în SEO?

X-Robots-Tag contează în SEO tehnic deoarece permite administrarea indexării și a modului de afișare pentru pagini și fișiere non-HTML. Este potrivit, de exemplu, când un document PDF trebuie să rămână accesibil utilizatorilor, dar nu trebuie afișat în rezultatele căutării. Poate limita și fragmentele text, previzualizările video sau imaginile prezentate în rezultate.

O configurare greșită poate exclude o resursă relevantă prin noindex, poate opri urmărirea linkurilor prin nofollow sau poate elimina fragmentele prin nosnippet, în cazul crawlerelor care respectă aceste reguli. Efectul poate apărea numai după ce un crawler accesează din nou URL-ul și citește răspunsul HTTP. Blocarea simultană prin robots.txt împiedică descoperirea regulii.

Efectul asupra oricărui sistem automatizat trebuie evaluat în funcție de crawlerul folosit. X-Robots-Tag influențează un astfel de sistem numai dacă agentul său poate accesa resursa și respectă directiva transmisă. Nu trebuie presupus că toate serviciile interpretează identic fiecare regulă.

Directivele care limitează indexarea sau fragmentele pot reduce posibilitatea ca resursa să fie prezentată de sistemele care le respectă. În sens invers, eliminarea unei restricții nu garantează includerea resursei în rezultate sau în alte forme de prezentare. X-Robots-Tag comunică reguli privind indexarea și prezentarea resursei, fără să garanteze vizibilitatea acesteia.

Exemplu

Un magazin online din România publică pe site fișe tehnice PDF. Documentele trebuie să poată fi descărcate de utilizatori, dar proprietarul nu dorește afișarea lor separată în rezultatele căutării.

Serverul poate returna pentru fișierele PDF:

HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindex

Crawlerelor cooperante li se solicită astfel să nu afișeze documentul PDF în rezultatele căutării. Fișierul trebuie să rămână accesibil crawlerului pentru ca antetul să fie citit. Dacă URL-ul PDF este blocat prin robots.txt, regula noindex nu va fi descoperită.

Cum verifici?

Deschide URL-ul în Google Chrome și accesează instrumentele pentru dezvoltatori.
Selectează fila Network și reîncarcă resursa.
Alege solicitarea corespunzătoare și verifică secțiunea cu antetele răspunsului.
Caută antetul X-Robots-Tag și notează directivele, agentul vizat și eventualele antete repetate.
Verifică și meta robots pentru paginile HTML. Dacă există reguli conflictuale, identifică regula mai restrictivă.
Controlează fișierul robots.txt. URL-ul trebuie să poată fi accesat de crawler pentru ca X-Robots-Tag să fie citit.
Opțional, Ahrefs SEO Toolbar poate afișa X-Robots-Tag în secțiunea proprie Indexability. Aceasta este o verificare oferită de unealtă, nu o confirmare a modului în care Google aplică directiva.

Ce trebuie să faci?

Folosește X-Robots-Tag când trebuie să transmiți reguli pentru PDF-uri, imagini sau alte resurse non-HTML.
Alege directiva conform rezultatului urmărit: noindex pentru excluderea din rezultate, nofollow pentru neurmărirea linkurilor sau nosnippet pentru eliminarea fragmentului.
Specifică numele crawlerului numai dacă regula trebuie aplicată unui anumit agent.
Păstrează URL-ul accesibil crawlerului atunci când vrei ca o regulă noindex să fie descoperită.
Verifică răspunsul HTTP efectiv, nu doar configurația serverului.
Elimină directivele incompatibile și verifică împreună configurațiile X-Robots-Tag, meta robots și robots.txt.

Greșeli frecvente

Blocarea URL-ului în robots.txt și așteptarea ca robotul să citească directiva X-Robots-Tag: noindex.
Căutarea antetului X-Robots-Tag în codul HTML, deși acesta face parte din răspunsul HTTP.
Folosirea simultană a unor directive reciproc incompatibile, precum index și noindex.
Aplicarea accidentală a noindex tuturor fișierelor care corespund unei reguli globale de server.
Presupunerea că orice robot sau sistem automatizat va respecta toate directivele X-Robots-Tag.

Perspectiva SEO 365

Verificăm răspunsul HTTP real înainte de orice schimbare la nivel de indexare. Urmărim ca X-Robots-Tag, meta robots și robots.txt să fie configurate astfel încât crawlerul să poată accesa și citi regula dorită. Evităm aplicarea globală a directivei noindex fără verificarea resurselor afectate.

Întrebări frecvente despre X-Robots-Tag

Deschide instrumentele pentru dezvoltatori ale browserului, accesează fila Network, reîncarcă URL-ul și selectează răspunsul corespunzător. În secțiunea Response Headers, caută X-Robots-Tag și verifică directivele, crawlerul vizat și eventualele antete repetate. Pentru o verificare rapidă din linia de comandă, poți inspecta antetele HTTP folosind o solicitare de tip HEAD.