{"id":255,"date":"2026-05-15T16:17:19","date_gmt":"2026-05-15T14:17:19","guid":{"rendered":"https:\/\/seoradaritalia.it\/blog\/?p=255"},"modified":"2026-05-15T16:19:31","modified_gmt":"2026-05-15T14:19:31","slug":"guida-completa-file-robots-txt","status":"publish","type":"post","link":"https:\/\/seoradaritalia.it\/blog\/guide\/guida-completa-file-robots-txt\/","title":{"rendered":"Guida completa al file robots.txt: a cosa serve ed errori da evitare"},"content":{"rendered":"\n<p>Il file robots.txt \u00e8 uno degli element<strong>i pi\u00f9 fraintesi della SEO tecnica.<\/strong> Spesso ignorato nella radice del sito, viene notato solo quando scatta il panico: una pagina importante non compare su Google, oppure Google Search Console inizia a segnalare avvisi incomprensibili.<\/p>\n\n\n\n<p>La verit\u00e0? Copiare e incollare regole trovate a caso sul web \u00e8 il modo pi\u00f9 veloce per far sparire il tuo sito dai motori di ricerca.<\/p>\n\n\n\n<p>In questa <strong>guida completa al file robots.txt<\/strong> vedremo esattamente cos&#8217;\u00e8, come funziona, quali sono i falsi miti che devi smettere di credere e ti forniremo esempi pratici da usare subito.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Che cos\u2019\u00e8 il file robots.txt?<\/h2>\n\n\n\n<p>Il <strong>file robots.txt<\/strong> \u00e8 un semplice file di testo (.txt) posizionato nella cartella principale (root) di un sito web. Il suo scopo \u00e8 comunicare con i crawler dei motori di ricerca (come Googlebot), indicando loro quali pagine o sezioni del sito <strong>possono <\/strong>o <strong>non possono<\/strong> scansionare.<\/p>\n\n\n\n<p>Puoi immaginarlo come il buttafuori all&#8217;ingresso del tuo sito web. Quando Google arriva, la primissima cosa che fa \u00e8 cercare questo file, solitamente all&#8217;indirizzo:<\/p>\n\n\n\n<p><code><strong>https:\/\/www.tuosito.it\/<em>robots.txt<\/em><\/strong><\/code> (Tuo sito, inserisci il sito da controllare)<\/p>\n\n\n\n<p><strong>Nota fondamentale sulla posizione:<\/strong> Se il file viene caricato in una sottocartella (es. <code>tuosito.it\/blog\/robots.txt<\/code>), i motori di ricerca lo ignoreranno completamente. Deve vivere esclusivamente nella root principale del dominio o del sottodominio a cui fa riferimento.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">A cosa serve davvero? (Scansione vs. Indicizzazione)<\/h2>\n\n\n\n<p>Il compito del robots.txt \u00e8 <strong>gestire il budget di scansione (Crawl Budget)<\/strong> ed evitare che i motori di ricerca perdano tempo su risorse inutili.<\/p>\n\n\n\n<p>Serve a dire a Google: <em>&#8220;Ehi, puoi guardare tutto il catalogo, ma per favore non entrare nella cartella dove tengo le fatture in PDF o nelle pagine di login dei miei dipendenti&#8221;<\/em>.<\/p>\n\n\n\n<p>Ecco un esempio base:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php\nSitemap: https:\/\/www.tuosito.it\/sitemap_index.xml\n<\/code><\/pre>\n\n\n\n<ul class=\"wp-block-list\">\n<li>User-agent: *** si rivolge a <em>tutti<\/em> i bot della rete.<\/li>\n\n\n\n<li><strong>Disallow:<\/strong> indica la cartella vietata (in questo caso, il pannello di amministrazione).<\/li>\n\n\n\n<li><strong>Allow:<\/strong> crea un&#8217;eccezione, permettendo l&#8217;accesso a un file specifico dentro la cartella bloccata.<\/li>\n\n\n\n<li><strong>Sitemap:<\/strong> indica al bot dove trovare la mappa del sito.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">I 3 grandi miti sul robots.txt (Cosa NON fa)<\/h2>\n\n\n\n<p>Per evitare disastri SEO, \u00e8 vitale capire i limiti di questo strumento.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">1. &#8220;Il robots.txt nasconde le pagine da Google&#8221; (FALSO)<\/h3>\n\n\n\n<p>Impedire la scansione di una pagina non significa che questa non apparir\u00e0 su Google. Se<strong> altri siti <\/strong>linkano quella pagina, <strong>Google sapr\u00e0 che esiste e potrebbe mostrarla nei risultati di ricerca<\/strong>, mostrandola senza la meta description (con la dicitura &#8220;Nessuna informazione disponibile per questa pagina&#8221;).<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">2. &#8220;Posso usarlo per proteggere dati sensibili&#8221; (FALSO)<\/h3>\n\n\n\n<p><strong>Il file robots.txt \u00e8 pubblico<\/strong>. Chiunque pu\u00f2 digitare il tuo indirizzo seguito da <code><strong><em>\/robots.txt<\/em><\/strong><\/code> e leggere l&#8217;elenco esatto delle cartelle che stai cercando di nascondere. Se hai documenti riservati, non usare il robots.txt:<strong> proteggili con una password lato server.<\/strong><\/p>\n\n\n\n<h3 class=\"wp-block-heading\">3. &#8220;\u00c8 un&#8217;alternativa al tag Noindex&#8221; (FALSO)<\/h3>\n\n\n\n<p>Questo \u00e8 l&#8217;errore pi\u00f9 grave. Se inserisci una pagina nel robots.txt tramite <code>Disallow<\/code>, impedisci a Google di <em>entrare<\/em> in quella pagina. Di conseguenza, se all&#8217;interno della pagina hai inserito un tag &#8220;Noindex&#8221; per chiederne la rimozione da Google, <strong>il bot non potr\u00e0 mai leggerlo<\/strong>.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Differenza tra Robots.txt, Noindex e Canonical<\/h2>\n\n\n\n<p>Per chiarire definitivamente la confusione tecnica, ecco quando usare cosa:<\/p>\n\n\n\n<figure class=\"wp-block-table\"><table class=\"has-fixed-layout\"><thead><tr><td><strong>Strumento<\/strong><\/td><td><strong>Funzione principale<\/strong><\/td><td><strong>Quando si usa?<\/strong><\/td><\/tr><\/thead><tbody><tr><td><strong>Robots.txt<\/strong><\/td><td>Blocca la <strong>scansione<\/strong><\/td><td>Per tenere i bot fuori da cartelle di sistema, filtri complessi di e-commerce o script non necessari.<\/td><\/tr><tr><td><strong>Tag Noindex<\/strong><\/td><td>Blocca l&#8217;<strong>indicizzazione<\/strong><\/td><td>Quando vuoi che una pagina (es. una &#8220;Thank You Page&#8221; o una landing page per una promo) sparisca dai risultati di Google.<\/td><\/tr><tr><td><strong>Tag Canonical<\/strong><\/td><td>Gestisce le <strong>duplicazioni<\/strong><\/td><td>Quando hai due contenuti quasi identici e vuoi indicare a Google qual \u00e8 quello &#8220;<strong>ufficiale<\/strong>&#8221; da posizionare.<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\">Esempi pratici di robots.txt<\/h2>\n\n\n\n<p>A seconda del tuo sito, le esigenze cambiano. Ecco alcuni scenari concreti.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">1. Il sito aziendale o blog WordPress (Configurazione Consigliata)<\/h3>\n\n\n\n<p>Non complicare le cose se non \u00e8 necessario. Un sito WordPress moderno ha bisogno che Google acceda a JavaScript e CSS per capire come \u00e8 fatta la pagina.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php\nSitemap: https:\/\/www.tuosito.it\/sitemap_index.xml\n<\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\">2. Bloccare le ricerche interne infinite<\/h3>\n\n\n\n<p>Se il tuo sito ha una barra di ricerca interna che genera migliaia di URL inutili (es. <code>tuosito.it\/?s=scarpe-rosse<\/code>), \u00e8 bene bloccarle per non sprecare Crawl Budget.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/?s=\nDisallow: \/search\/\nSitemap: https:\/\/www.tuosito.it\/sitemap_index.xml\n<\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\">3. Evitare che le immagini finiscano su Google Images<\/h3>\n\n\n\n<p>Se hai immagini proprietarie che non vuoi far indicizzare nel motore di ricerca per immagini (pur mantenendole visibili sul sito):<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: Googlebot-Image\nDisallow: \/\n<\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\">4. L&#8217;errore fatale: il sito invisibile<\/h3>\n\n\n\n<p>Questa singola riga di codice, spesso dimenticata dalle agenzie dopo aver messo online un nuovo sito (passaggio da ambiente di <em>staging<\/em> a <em>produzione<\/em>), fa letteralmente sparire il sito da Google.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/\n<\/code><\/pre>\n\n\n\n<p><em><strong>Se vedi quel <code>\/<\/code> da solo dopo Disallow, rimuovilo immediatamente!<\/strong><\/em><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Come controllare se il tuo sito \u00e8 a posto<\/h2>\n\n\n\n<ol start=\"1\" class=\"wp-block-list\">\n<li><strong>Ispezione manuale:<\/strong> Digita nel browser <code>tuosito.it\/robots.txt<\/code>. Assicurati che non ci sia il temuto<strong> <code>Disallow: \/<\/code>.<\/strong><\/li>\n\n\n\n<li><strong>Usa Google Search Console:<\/strong> Nella sezione &#8220;Pagine&#8221;, se vedi errori come <em>&#8220;<strong>Indicizzata, ma bloccata da robots.txt<\/strong>&#8220;<\/em>, significa che stai inviando segnali contrastanti a Google (stai bloccando la scansione di una pagina che Google ritiene interessante).<\/li>\n\n\n\n<li><strong>Analisi tecnica completa:<\/strong> Dopo aver sistemato le direttive base, \u00e8 fondamentale avere una panoramica della salute del tuo sito. Puoi affidarti a strumenti mirati come la nostra web app di analisi SEO completamente gratuita <strong><a href=\"https:\/\/seoradaritalia.it\/\" data-type=\"link\" data-id=\"https:\/\/seoradaritalia.it\/\">SEO Radar Italia<\/a><\/strong>, che \u00e8 un, appunto, tool gratuito e strutturato in un&#8217;unica pagina, l&#8217;ideale per fare un&#8217;analisi SEO o<strong>n-page veloce e capire se ci sono altri blocchi tecnici in corso.<\/strong><\/li>\n<\/ol>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"222\" src=\"https:\/\/seoradaritalia.it\/blog\/wp-content\/uploads\/2026\/05\/Seo-Radar-Italia-ti-segnala-se-la-pagina-e-bloccata-da-no-index-o-robotx-con-DOM-Rendering-1024x222.webp\" alt=\"Seo Radar Italia ti segnala se la pagina \u00e8 bloccata da no index o robotx con DOM Rendering\" class=\"wp-image-256\" srcset=\"https:\/\/seoradaritalia.it\/blog\/wp-content\/uploads\/2026\/05\/Seo-Radar-Italia-ti-segnala-se-la-pagina-e-bloccata-da-no-index-o-robotx-con-DOM-Rendering-1024x222.webp 1024w, https:\/\/seoradaritalia.it\/blog\/wp-content\/uploads\/2026\/05\/Seo-Radar-Italia-ti-segnala-se-la-pagina-e-bloccata-da-no-index-o-robotx-con-DOM-Rendering-300x65.webp 300w, https:\/\/seoradaritalia.it\/blog\/wp-content\/uploads\/2026\/05\/Seo-Radar-Italia-ti-segnala-se-la-pagina-e-bloccata-da-no-index-o-robotx-con-DOM-Rendering-768x166.webp 768w, https:\/\/seoradaritalia.it\/blog\/wp-content\/uploads\/2026\/05\/Seo-Radar-Italia-ti-segnala-se-la-pagina-e-bloccata-da-no-index-o-robotx-con-DOM-Rendering.webp 1076w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption class=\"wp-element-caption\">Seo Radar Italia ti segnala se la pagina \u00e8 bloccata da no index o robotx con DOM Rendering<\/figcaption><\/figure>\n<\/div>\n\n\n<h2 class=\"wp-block-heading\">Checklist Rapida<\/h2>\n\n\n\n<p>Prima di chiudere il file e salvarlo sul server, fatti queste domande:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li> Il file si trova nella root principale del dominio?<\/li>\n\n\n\n<li>Blocca erroneamente risorse visive (CSS o JavaScript)?<\/li>\n\n\n\n<li>Contiene il link corretto alla Sitemap XML?<\/li>\n\n\n\n<li>Ho usato il <code>Disallow<\/code> al posto del <code>Noindex<\/code> per cercare di deindicizzare una pagina?<\/li>\n\n\n\n<li>L&#8217;area amministrativa e le cartelle di test sono bloccate correttamente?<\/li>\n<\/ul>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"819\" src=\"https:\/\/seoradaritalia.it\/blog\/wp-content\/uploads\/2026\/05\/Card-di-analisi-Approfondita-di-SEO-RADAR-ITALIA-SU-ROBOTS-e-INDICIZZAZIONE--1024x819.webp\" alt=\"Card di analisi Approfondita di SEO RADAR ITALIA SU ROBOTS e INDICIZZAZIONE\" class=\"wp-image-257\" srcset=\"https:\/\/seoradaritalia.it\/blog\/wp-content\/uploads\/2026\/05\/Card-di-analisi-Approfondita-di-SEO-RADAR-ITALIA-SU-ROBOTS-e-INDICIZZAZIONE--1024x819.webp 1024w, https:\/\/seoradaritalia.it\/blog\/wp-content\/uploads\/2026\/05\/Card-di-analisi-Approfondita-di-SEO-RADAR-ITALIA-SU-ROBOTS-e-INDICIZZAZIONE--300x240.webp 300w, https:\/\/seoradaritalia.it\/blog\/wp-content\/uploads\/2026\/05\/Card-di-analisi-Approfondita-di-SEO-RADAR-ITALIA-SU-ROBOTS-e-INDICIZZAZIONE--768x614.webp 768w, https:\/\/seoradaritalia.it\/blog\/wp-content\/uploads\/2026\/05\/Card-di-analisi-Approfondita-di-SEO-RADAR-ITALIA-SU-ROBOTS-e-INDICIZZAZIONE-.webp 1080w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption class=\"wp-element-caption\">Card di analisi Approfondita di SEO RADAR ITALIA SU ROBOTS e INDICIZZAZIONE<\/figcaption><\/figure>\n<\/div>\n\n\n<h2 class=\"wp-block-heading\">In conclusione robot.txt non fa magie.<\/h2>\n\n\n\n<p>Il file robots.txt non \u00e8 una bacchetta magica per la SEO: non ti far\u00e0 scalare le classifiche di Google. <strong>Tuttavia, se configurato male, ha il potere di distruggere il tuo traffico organico in poche ore.<\/strong><\/p>\n\n\n\n<p>La regola d&#8217;oro \u00e8 la semplicit\u00e0: <strong>blocca solo ci\u00f2 che \u00e8 strettamente necessario<\/strong>. Permetti ai motori di ricerca di scansionare il tuo sito liberamente e usa i tag corretti (come il noindex) quando vuoi rimuovere dei contenuti.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Il file robots.txt \u00e8 uno degli elementi pi\u00f9 fraintesi della SEO tecnica. Spesso ignorato nella radice del sito, viene notato solo quando scatta il panico: una pagina importante non compare su Google, oppure Google Search Console inizia a segnalare avvisi incomprensibili. La verit\u00e0? Copiare e incollare regole trovate a caso sul web \u00e8 il modo&hellip;&nbsp;<\/p>\n","protected":false},"author":1,"featured_media":257,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"neve_meta_sidebar":"","neve_meta_container":"","neve_meta_enable_content_width":"","neve_meta_content_width":0,"neve_meta_title_alignment":"","neve_meta_author_avatar":"","neve_post_elements_order":"","neve_meta_disable_header":"","neve_meta_disable_footer":"","neve_meta_disable_title":"","footnotes":""},"categories":[26],"class_list":["post-255","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-guide"],"_links":{"self":[{"href":"https:\/\/seoradaritalia.it\/blog\/wp-json\/wp\/v2\/posts\/255","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/seoradaritalia.it\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/seoradaritalia.it\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/seoradaritalia.it\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/seoradaritalia.it\/blog\/wp-json\/wp\/v2\/comments?post=255"}],"version-history":[{"count":2,"href":"https:\/\/seoradaritalia.it\/blog\/wp-json\/wp\/v2\/posts\/255\/revisions"}],"predecessor-version":[{"id":259,"href":"https:\/\/seoradaritalia.it\/blog\/wp-json\/wp\/v2\/posts\/255\/revisions\/259"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/seoradaritalia.it\/blog\/wp-json\/wp\/v2\/media\/257"}],"wp:attachment":[{"href":"https:\/\/seoradaritalia.it\/blog\/wp-json\/wp\/v2\/media?parent=255"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/seoradaritalia.it\/blog\/wp-json\/wp\/v2\/categories?post=255"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}