crawler AI

Cum funcționează

Un crawler este un program care descoperă și scanează automat site-uri. În cazul unui crawler AI, activitatea este asociată unui produs sau unui proces bazat pe inteligență artificială. Scopul exact trebuie verificat în documentația operatorului. Nu toate crawlerele asociate produselor AI accesează conținutul pentru aceeași utilizare.

Crawlerele se pot identifica prin antetul HTTP User-Agent. În robots.txt, regulile sunt grupate după un token User-agent, urmat de directivele Allow și Disallow. Conform Robots Exclusion Protocol, crawlerul caută grupul care corespunde tokenului său. Dacă nu există un grup dedicat, devine aplicabil grupul User-agent: *, dacă acesta există.

Regulile din robots.txt indică dacă anumite căi pot fi accesate de crawlerele care respectă protocolul. Ele nu reprezintă o metodă de autorizare și nu protejează resursele sensibile împotriva accesului nepermis.

Crawler, fetcher și token de control

Google diferențiază între crawlere automate și fetchere declanșate de utilizatori. Un fetcher face, de regulă, o solicitare în numele unui utilizator, în timp ce un crawler descoperă și scanează automat site-uri.

Unele controale nu corespund unui User-Agent separat. Google-Extended, de exemplu, este un token independent pentru robots.txt. Editorii îl pot folosi pentru a gestiona dacă materialele accesate de Google pot fi utilizate pentru antrenarea viitoarelor generații de modele Gemini care alimentează Gemini Apps și Vertex AI API pentru Gemini, precum și pentru grounding în Gemini Apps și Grounding with Google Search pe Vertex AI. Accesarea efectivă se face folosind șiruri User-Agent Google existente.

Prezența unui nume de bot în loguri nu confirmă singură identitatea solicitantului. Șirurile User-Agent pot fi imitate. Pentru crawlerele Google, verificarea poate include adresa IP sursă și numele de gazdă obținut prin reverse DNS, conform documentației oficiale.

Impactul asupra SEO clasic

Gestionarea unui crawler asociat produselor AI trebuie separată de gestionarea crawlerelor folosite pentru indexarea în căutarea clasică. O regulă în robots.txt poate limita accesul unui crawler la anumite pagini. În cazul Google, preferințele adresate Googlebot afectează Google Search și funcțiile sale, în timp ce Google-Extended nu afectează includerea în Google Search și nu este folosit ca semnal de ranking.

Blocarea unui token asociat unor utilizări AI nu trebuie considerată automat echivalentă cu blocarea Googlebot. Trebuie verificat produsul afectat de fiecare token.

Impactul asupra vizibilității în produsele AI

Permiterea accesului sau a utilizării printr-un token trebuie interpretată potrivit scopului declarat de operator. De exemplu, Google-Extended controlează folosirea conținutului pentru antrenarea viitoarelor generații de modele Gemini și pentru grounding în produsele Google indicate în documentație. Această permisiune nu reprezintă o garanție că o pagină va fi selectată, citată sau afișată.

Regulile trebuie stabilite separat, pe baza documentației oficiale a fiecărui operator. Nu trebuie presupus că aceeași directivă controlează toate platformele sau că simpla apariție a unui crawler în loguri produce vizibilitate. Analiza GEO trebuie să distingă între accesarea paginii, utilizarea declarată a conținutului și apariția efectivă într-un răspuns generat.

Un magazin online românesc dorește ca paginile sale să rămână accesibile pentru Google Search, dar nu vrea ca materialele accesate de Google să fie folosite prin mecanismele controlate de Google-Extended. Poate păstra accesul Googlebot și adăuga în robots.txt:

User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Disallow: /

Regula pentru Google-Extended gestionează utilizarea declarată pentru antrenarea viitoarelor generații de modele Gemini și pentru grounding în produsele indicate de Google. Ea nu exclude site-ul din Google Search și nu funcționează ca semnal de ranking. Exemplul nu stabilește reguli pentru alți crawler-i, care pot avea tokenuri proprii.

1. Deschide fișierul https://domeniu.ro/robots.txt și identifică grupurile User-agent relevante.
2. Compară tokenurile găsite cu documentația oficială a operatorului crawlerului.
3. Verifică directivele Allow și Disallow aplicabile paginilor importante.
4. Consultă logurile serverului și caută solicitările după șirul User-Agent declarat.
5. Nu valida identitatea exclusiv după User-Agent, deoarece acesta poate fi imitat.
6. Pentru crawlerele Google, verifică și adresa IP sursă, respectiv numele de gazdă obținut prin reverse DNS, conform procedurii oficiale Google.
7. Verifică separat regulile aplicabile paginilor publice, fișierelor media și directoarelor.

• Inventariază crawlerele și fetcherele care apar în logurile serverului.
• Documentează scopul fiecărui token folosind pagina oficială a operatorului.
• Separă regulile pentru indexarea în motoarele de căutare de regulile pentru antrenare sau grounding.
• Folosește grupuri explicite în robots.txt atunci când operatorul publică un token dedicat.
• Protejează resursele sensibile prin controale reale de acces, nu prin robots.txt.
• Verifică efectul fiecărei modificări asupra produselor asociate tokenului înainte de publicare.
• Monitorizează logurile după modificare pentru a observa modul în care sunt accesate căile respective.