Robots Meta Tag
Cunoscut și ca: meta robots tag, robots tag, tag meta robots, directivă meta robots, robot meta tag
Ce este tagul meta robots?
Pe scurt
Robots Meta Tag este un element HTML care transmite crawlerelor directive aplicabile unei pagini. Poate controla indexarea, urmărirea linkurilor și modul în care conținutul este prezentat în rezultatele căutării. Se configurează prin atributele `name` și `content`, de regulă în secțiunea `<head>` a paginii.
Robots Meta Tag, numit și meta robots tag, este un element HTML folosit pentru a comunica reguli crawlerelor. Forma sa obișnuită este:
<meta name="robots" content="noindex, nofollow">
Atributul name indică robotul vizat. Valoarea robots se aplică tuturor crawlerelor cooperative. Pentru Google pot fi folosite valori precum googlebot, pentru rezultatele text, și googlebot-news, pentru rezultatele de știri.
Ce controlează directivele
Directivele sunt introduse în atributul content și pot fi separate prin virgulă. noindex împiedică afișarea paginii sau resursei în rezultatele căutării. nofollow solicită crawlerului să nu urmeze linkurile din pagină. none este echivalent cu noindex, nofollow, iar all nu adaugă restricții.
Alte directive controlează prezentarea conținutului. nosnippet oprește afișarea fragmentului de text și a previzualizării video. max-snippet limitează dimensiunea fragmentului textual, iar max-image-preview controlează dimensiunea maximă a previzualizării imaginii. Google aplică regula mai restrictivă atunci când întâlnește directive conflictuale.
Relația cu robots.txt
Robots Meta Tag și robots.txt au roluri diferite. robots.txt controlează accesul crawlerelor la resurse, în timp ce tagul meta influențează indexarea și prezentarea unei pagini. Crawlerul trebuie să poată accesa pagina pentru a citi tagul. Din acest motiv, blocarea paginii prin robots.txt poate împiedica descoperirea unei directive noindex.
Alternativa X-Robots-Tag
Pentru PDF-uri, imagini, videoclipuri și alte resurse non-HTML se poate folosi antetul HTTP X-Robots-Tag. Acesta acceptă regulile disponibile pentru Robots Meta Tag și poate viza toate crawlerele sau un anumit user agent. Directivele sunt respectate numai de roboții cooperativi.
De ce contează în SEO?
Robots Meta Tag permite controlul indexării la nivelul fiecărei pagini. Este util când o adresă nu trebuie să apară în SERP sau când trebuie limitate fragmentele de text, previzualizările video ori imaginile afișate. O implementare greșită poate exclude conținut important sau poate afecta descoperirea paginilor legate printr-o directivă nofollow.
Tagul trebuie analizat împreună cu robots.txt. Dacă accesul crawlerului este blocat, acesta nu poate citi regula noindex. Pentru resursele non-HTML, aceeași verificare trebuie făcută în antetul X-Robots-Tag.
Impactul este relevant și pentru prezentarea conținutului în rezultatele Google bazate pe AI. Google precizează că nosnippet se aplică în AI Overviews și AI Mode și împiedică folosirea conținutului drept intrare directă pentru aceste rezultate. Directiva max-snippet limitează cât conținut poate fi folosit drept intrare directă, cu excepția situațiilor în care există o permisiune separată, precum date structurate furnizate în pagină sau un acord de licențiere.
Extrasele disponibile nu confirmă că alte platforme interpretează aceste directive în același mod. Comportamentul lor nu trebuie dedus automat din documentația Google și trebuie evaluat pe baza documentației fiecărei platforme. Robots Meta Tag nu oferă o garanție împotriva roboților care ignoră directivele.
Exemplu
Un magazin online din România are o pagină de confirmare afișată după trimiterea unei comenzi. Pagina nu trebuie să apară în rezultatele căutării, dar linkurile sale pot rămâne accesibile crawlerelor.
În secțiunea <head> se poate adăuga:
<head>
<meta name="robots" content="noindex, follow">
</head>
Directiva noindex exclude pagina din rezultatele căutării. Valoarea follow permite urmărirea linkurilor. Pagina nu trebuie blocată simultan prin robots.txt, deoarece crawlerul trebuie să o acceseze pentru a citi tagul.
Cum verifici?
- Deschide codul sursă al paginii și caută
meta name="robots"sau un tag adresat unui crawler, precummeta name="googlebot". - Verifică valoarea atributului
contentși notează toate directivele declarate. - Controlează răspunsul HTTP al URL-ului și caută antetul
X-Robots-Tag. Pentru o verificare tehnică poate fi folosită comandacurl -I URL. - Compară directivele din HTML cu cele din anteturile HTTP. Pentru Google, în cazul unui conflict se aplică regula mai restrictivă.
- Verifică robots.txt pentru a confirma că pagina poate fi accesată de crawlerul care trebuie să citească directiva.
- Dacă site-ul folosește un CMS, verifică HTML-ul final generat, nu doar setarea afișată în interfața de administrare.
- Ahrefs SEO Toolbar poate fi folosit ca metodă practică de verificare. Secțiunea sa de indexabilitate afișează directivele detectate de instrument în tagurile meta și în anteturile HTTP.
Ce trebuie să faci?
- Folosește
noindexnumai pentru paginile sau resursele care nu trebuie afișate în rezultatele căutării. - Permite accesarea prin crawl a paginii atunci când vrei ca motorul de căutare să citească o directivă
noindex. - Păstrează tagul în secțiunea
<head>a documentului HTML, chiar dacă Google poate respecta și taguri găsite în corpul paginii. - Folosește
X-Robots-Tagpentru PDF-uri, imagini, videoclipuri și alte resurse non-HTML. - Verifică atât HTML-ul, cât și anteturile HTTP înainte de a diagnostica indexarea.
- Analizează cu atenție
nosnippetșimax-snippet, deoarece influențează prezentarea în rezultatele Google, inclusiv AI Overviews și AI Mode. - Elimină directivele contradictorii și păstrează o regulă clară pentru fiecare rezultat dorit.
Greșeli frecvente
- Pagina este blocată prin robots.txt, iar crawlerul nu poate citi directiva `noindex`.
- Directiva `noindex` este aplicată accidental unor pagini care trebuie să apară în rezultatele căutării.
- Este verificat doar tagul HTML, fără a controla și antetul HTTP `X-Robots-Tag`.
- Sunt declarate directive conflictuale fără a lua în calcul că Google aplică regula mai restrictivă.
- Robots Meta Tag este tratat ca o metodă de blocare a roboților necooperativi, deși aceștia pot ignora directivele.
Perspectiva SEO 365
Verificăm mai întâi dacă URL-ul poate fi accesat de crawler, apoi comparăm directivele din HTML cu anteturile HTTP. Urmărim efectul dorit pentru fiecare pagină și evităm adăugarea implicită a unor restricții. Verificăm în special dacă o blocare în robots.txt este combinată cu noindex, deoarece directiva poate rămâne necitită.