Robots e Indicizzazione: come leggerli

Robots & Indicizzazione

Card del report: Robots e Indicizzazione

Controlla meta robots, X-Robots-Tag, indicazioni da robots.txt, sitemap XML e direttive snippet rilevanti per la URL. È spesso un gate: un noindex “dimenticato” spiega un punteggio basso nonostante contenuti buoni.

Come leggerla

Badge su /10 e eventuale etichetta BLOCCATA se c'è noindex. Nel corpo trovi direttive meta, header HTTP e contesto pagina.

Sotto il file robots.txt compare il blocco "Sitemap XML (verifica reale)": il report cerca la sitemap dichiarata in robots.txt (altrimenti ai percorsi /sitemap.xml e /sitemap_index.xml), controlla che risponda e che il formato sia valido, conta gli URL elencati e verifica se la pagina analizzata è presente. Se la sitemap è un indice, controlla solo le prime tre sitemap figlie, quindi la presenza della pagina può restare non verificabile. Il blocco "Direttive snippet e anteprima" compare solo se la pagina usa direttive per snippet e anteprima (nosnippet, max-snippet, max-image-preview, unavailable_after) o l'attributo data-nosnippet: i valori sono letti da tutti i meta robots, dal meta googlebot e dall'header HTTP X-Robots-Tag.

Come interpretarla

Punteggio alto = pagina indicizzabile secondo i segnali trovati. noindex / none = Google non dovrebbe mostrarla in SERP (comportamento atteso se voluto; errore se involontario). Non sostituisce Search Console: misura i segnali sulla risposta analizzata.

La sitemap è un controllo diagnostico e facoltativo: non cambia il punteggio e la sua assenza non è un errore per un sito piccolo e ben collegato, mentre una sitemap dichiarata ma non raggiungibile o non valida va corretta. Se la pagina compare in sitemap ma ha noindex o un canonical verso un altro indirizzo, i segnali si contraddicono. Anche le direttive snippet non cambiano il punteggio SEO: nosnippet e un max-snippet ridotto (la card lo segnala sotto i 160 caratteri, una soglia indicativa del tool e non un valore ufficiale di Google) contano solo nel fattore Direttive Snippet dell'Accesso AI, quindi nel punteggio GEO. Google applica queste direttive anche alle funzioni AI (AI Overviews e AI Mode): limitano il testo che può essere mostrato e usato come fonte.

Cosa fare

  • Se la pagina deve rankare, rimuovi noindex da meta e header.
  • Allinea staging e produzione (template che ereditano noindex).
  • Verifica che robots.txt non blocchi il path che stai ottimizzando.
  • Se il sito è grande o nuovo e non ha una sitemap, creane una (molti CMS la generano da soli) e dichiarala in robots.txt con una riga Sitemap:.
  • Se nosnippet o un max-snippet basso non sono voluti, rimuovili oppure usa max-snippet:-1 (nessun limite) e controlla anche plugin SEO, CDN e configurazione del server, perché le direttive possono arrivare dall'header HTTP.

Domande frequenti

Sì. Il report li mostra entrambi: in caso di conflitto, tratta il segnale più restrittivo come priorità da chiarire. È lo stesso criterio che applica Google: con regole in conflitto vale la più restrittiva.

No. Google la considera utile soprattutto per siti grandi, nuovi o con molti contenuti multimediali, mentre un sito piccolo (circa 500 pagine o meno) e ben collegato internamente può farne a meno. Il report la verifica come controllo diagnostico: se esiste deve rispondere, avere un formato valido ed elencare le pagine che vuoi indicizzare. Una singola sitemap può contenere al massimo 50.000 URL o pesare 50 MB non compressi: oltre si usa un indice di sitemap.

Le direttive possono arrivare anche dall'header HTTP X-Robots-Tag, che il server, un CDN o un plugin SEO inviano senza che compaia nel codice HTML. Il report legge tutti i meta robots, il meta googlebot e l'header. La card indica quando una direttiva arriva dall'header; con valori contrastanti vale il più restrittivo.

Per vedere questa card sul tuo sito, avvia un'analisi dalla home inserendo l'URL della pagina.

Robots e indicizzazione

Robots.txt

Gestisce il traffico. Indica dove i bot possono circolare. È fondamentale per risparmiare Crawl Budget, evitando che Google perda tempo su file tecnici o cartelle private.

Meta Robots

Gestisce la memoria. Indica se una specifica pagina deve essere archiviata (Index) o ignorata (Noindex) dai risultati di ricerca.

Il "Noindex" va sempre verificato

A volte nascondere una pagina è una scelta corretta: pagine di ringraziamento, carrelli o profili utente spesso non devono comparire su Google. Il problema è quando Noindex finisce per errore su una pagina che invece dovrebbe essere trovata (es. una pagina prodotto): in quel caso perde traffico organico finché non viene corretto. Questa card mostra la direttiva rilevata così puoi verificare che sia quella voluta.