Il file robots.txt è un file di testo nella root del sito (tuosito.it/robots.txt) che dice ai crawler dei motori di ricerca quali parti del sito possono visitare. È la prima cosa che Google legge prima di scansionare: una regola sbagliata può, nel peggiore dei casi, nascondere l'intero sito dai risultati.
Attenzione a un equivoco frequente: robots.txt controlla la scansione, non l'indicizzazione. Per tenere una pagina fuori da Google serve il tag noindex, non il Disallow — anzi, una pagina bloccata da robots.txt può comparire lo stesso in SERP, ma senza descrizione.
Come è fatto: le direttive base
- User-agent — a quale bot si applicano le regole (
*= tutti). - Disallow — il percorso da non scansionare (
Disallow: /admin). - Allow — un'eccezione dentro un percorso bloccato.
- Sitemap — l'URL completo della tua sitemap XML, così i motori la trovano subito.
Un esempio sano: bloccare l'area amministrativa e i parametri inutili, tenere aperto il resto, dichiarare la sitemap. Non bloccare mai per errore CSS e JavaScript: Google deve poter renderizzare la pagina.
Gli errori che fanno danni
Disallow: /lasciato online. Blocca tutto il sito — capita dopo un passaggio da staging a produzione. È l'errore più grave.- Bloccare risorse di rendering. CSS/JS in Disallow → Google vede una pagina rotta e la valuta peggio.
- Usare robots.txt per nascondere pagine private. Il file è pubblico e leggibile da chiunque: non è uno strumento di sicurezza.
- Confondere Disallow e noindex. Per rimuovere dai risultati serve noindex; il Disallow impedisce solo la scansione.
robots.txt e i crawler AI
Nel 2026 non ci sono solo Googlebot e Bingbot: ci sono i bot delle AI — GPTBot, ClaudeBot, PerplexityBot, Google-Extended. Il robots.txt è dove decidi se farli entrare. Se vuoi essere citato dalle risposte AI, non devi bloccarli; se invece non vuoi che usino i tuoi contenuti, qui li escludi. È una scelta strategica, non un default.
Come generarlo e controllarlo
Puoi creare un robots.txt valido in un minuto, con i preset giusti (allow/block, user-agent, disallow, crawl-delay, sitemap), con il nostro generatore robots.txt gratuito e senza registrazione: imposti le regole, copi e scarichi il file. Poi verifica che le pagine importanti siano davvero raggiungibili con l'audit SEO gratuito, che segnala anche i blocchi di scansione tra le priorità.