Strumento gratuito
Generatore robots.txt
Crea un file robots.txt valido in pochi secondi: scegli un preset o personalizza le regole. Copialo o scaricalo e mettilo nella radice del sito.
robots.txt generato
# robots.txt
Generatore robots txt: crea il file del tuo sito senza scriverlo a mano
Il robots.txt è un file di testo che dice ai crawler dei motori di ricerca quali percorsi possono visitare e quali no. Va nella radice del dominio: deve rispondere all'indirizzo tuosito.it/robots.txt, non in una sottocartella. Se lo metti altrove, Google non lo trova e lo ignora.
Le direttive sono poche. User-agent indica il crawler a cui ti rivolgi (Googlebot, Bingbot o l'asterisco * per tutti). Disallow blocca un percorso, Allow ne riapre uno dentro una cartella bloccata, Sitemap segnala l'URL della sitemap XML. Esempio: "User-agent: *", poi "Disallow: /wp-admin/" e "Sitemap: https://tuosito.it/sitemap.xml".
L'errore più costoso è "Disallow: /" con user-agent *: nasconde l'intero sito ai motori e fa sparire il traffico. Secondo errore: bloccare le cartelle di CSS e JavaScript, così Google non riesce a renderizzare le pagine e le valuta peggio. Terzo: credere che robots.txt tolga una pagina dall'indice. Non è così: per rimuovere una pagina serve il tag noindex, robots.txt impedisce solo la scansione, non la comparsa nei risultati.
Oggi contano anche i crawler AI. GPTBot (OpenAI), ClaudeBot (Anthropic) e PerplexityBot leggono i siti per addestrarsi o per rispondere agli utenti. Puoi bloccarli con una regola dedicata, ad esempio "User-agent: GPTBot" + "Disallow: /", oppure lasciarli passare se vuoi visibilità nelle risposte AI.
Questo generatore robots txt ti fa scegliere le regole da un'interfaccia: selezioni cosa bloccare, aggiungi la sitemap, decidi come trattare i bot AI e scarichi il file pronto da caricare nella radice. Nessuna sintassi da ricordare, nessun errore di battitura: il generatore robots txt produce un file valido in pochi clic.
FAQ
Domande frequenti
Dove devo caricare il file robots.txt?
Nella radice del dominio, cioè la cartella principale del sito, così da essere raggiungibile all'indirizzo tuosito.it/robots.txt. Non funziona in una sottocartella (tuosito.it/pagine/robots.txt viene ignorato). Ogni dominio e sottodominio ha il suo file separato.
robots.txt toglie davvero una pagina da Google?
No. Disallow impedisce la scansione, ma una pagina bloccata può comunque comparire nei risultati se altri siti la linkano. Per rimuoverla dall'indice serve il tag meta noindex nella pagina, che però Google legge solo se la pagina NON è bloccata dal robots.txt.
Devo bloccare i crawler AI come GPTBot e ClaudeBot?
Dipende dai tuoi obiettivi. Bloccarli (User-agent: GPTBot, Disallow: /) impedisce l'uso dei tuoi contenuti per l'addestramento; lasciarli passare aumenta le probabilità di essere citato nelle risposte di ChatGPT, Claude o Perplexity. Il tool ti fa scegliere bot per bot.
Cosa succede se il sito non ha un file robots.txt?
I crawler considerano tutto scansionabile e visitano ogni pagina raggiungibile: il sito non viene penalizzato. Il file serve quando vuoi escludere aree specifiche (area admin, carrello, pagine duplicate) o segnalare la sitemap. Senza regole particolari puoi anche non averlo, ma averlo pulito è la scelta più sicura.
Come verifico che il robots.txt funzioni?
Aprilo nel browser all'indirizzo tuosito.it/robots.txt per controllare che sia online e leggibile. Poi usa il Tester robots.txt dentro Google Search Console: incolli un URL e ti dice se è bloccato o consentito per Googlebot, evitando di scoprire troppo tardi di aver nascosto pagine importanti.
L'audit completo controlla indicizzazione, sitemap, canonical e velocità di tutto il sito, con le priorità. Gratis, 7 giorni.
Quadro completo