Generatore di robots.txt: crea un file robots.txt gratis

Un generatore di robots.txt crea il file robots.txt in base alle tue impostazioni, senza che tu debba scrivere manualmente la sintassi. Questo offre due modalità: «Creazione rapida» per singole regole Allow/Disallow per percorso e bot, e «Per bot» per una regola predefinita e un’impostazione per ogni crawler. Le modalità non si combinano: ognuna genera il proprio file robots.txt. Lo strumento è gratuito, non richiede registrazione e genera il file nel tuo browser.

Serve almeno una riga User-agent per il bot, seguita da regole Allow o Disallow: Disallow vieta un percorso, mentre Allow lo consente esplicitamente. Puoi, ad esempio, bloccare /wp-admin/ e consentire /wp-admin/admin-ajax.php. Puoi aggiungere una riga Sitemap con l’URL completo, incluso https://. Se non inserisci regole in «Creazione rapida», il generatore produce User-agent: * e Allow: /.

Nella directory principale del tuo dominio, non in una sottocartella, ad esempio tramite FTP/SFTP o il file manager del tuo hosting. In seguito sarà accessibile all’indirizzo deine-domain.de/robots.txt. Il file scaricato dal generatore si chiama già robots.txt.

Nella modalità «Per bot», imposta GPTBot, Google-Extended, CCBot, ClaudeBot o PerplexityBot su «Blocca». Il generatore scrive per ciascuno un blocco User-agent separato con Disallow: /. Puoi lasciare i motori di ricerca come Google e Bing su Predefinito. Ricorda: il file robots.txt è una richiesta rispettata dai crawler affidabili, non un blocco tecnico.

In «Per bot», scegli «Non consentito» come impostazione predefinita per tutti i bot. Otterrai User-agent: * con Disallow: /. I motori di ricerca che rispettano il file robots.txt non esploreranno più nessuna pagina del tuo sito. Usa questa opzione solo consapevolmente, ad esempio per un ambiente di test.

No. Google ignora Crawl-delay, e dal 2018 anche Yandex. Solo altri crawler come Bing ne tengono conto. Nella modalità «Per bot» puoi scegliere 1, 5, 10 o 20 secondi. Il valore compare nel blocco per tutti i bot e in ogni blocco dei bot che hai impostato singolarmente su Consenti o Blocca.

Non in modo affidabile. Il file robots.txt gestisce solo il crawling. Un URL bloccato può comunque finire nell’indice se altre pagine contengono link a quell’URL. Per escludere una pagina dai risultati di ricerca, usa un meta tag noindex o proteggila con una password. Questo generatore non crea regole noindex e il file robots.txt non è adatto a proteggere contenuti privati.

No. Il generatore di robots.txt crea solo nuovi file e non controlla i file robots.txt già online. Per vedere un file online, apri deine-domain.de/robots.txt nel browser. Il rapporto robots.txt di Google Search Console indica se Google riesce a recuperarlo.