Gerador de robots.txt: crie um robots.txt grátis

Um gerador de robots.txt cria o arquivo robots.txt a partir das suas configurações, sem que você precise escrever a sintaxe manualmente. Este tem dois modos: “Criar rapidamente”, para regras Allow/Disallow individuais por caminho e bot, e “Por bot”, para uma regra padrão e uma configuração por crawler. Os modos não são combinados: cada um gera seu próprio robots.txt. A ferramenta é gratuita, não exige cadastro e gera o arquivo no seu navegador.

Pelo menos uma linha User-agent para o bot, seguida de regras Allow ou Disallow: Disallow proíbe um caminho, enquanto Allow o permite expressamente. Por exemplo, você pode bloquear /wp-admin/ e permitir /wp-admin/admin-ajax.php. Opcionalmente, adicione uma linha de Sitemap com a URL completa, incluindo https://. Se você não inserir nenhuma regra em “Criar rapidamente”, o gerador produzirá User-agent: * e Allow: /.

No diretório raiz do seu domínio, não em uma subpasta, por exemplo, via FTP/SFTP ou pelo gerenciador de arquivos da sua hospedagem. Depois, ele estará acessível em deine-domain.de/robots.txt. O arquivo baixado pelo gerador já tem o nome robots.txt.

No modo “Por bot”, defina GPTBot, Google-Extended, CCBot, ClaudeBot ou PerplexityBot como “Bloquear”. O gerador escreve um bloco User-agent separado com Disallow: / para cada um desses crawlers. Você pode deixar mecanismos de busca como Google e Bing em Padrão. Lembre-se: o robots.txt é uma solicitação respeitada por crawlers legítimos, não um bloqueio técnico.

Em “Por bot”, escolha “Não permitido” como padrão para todos os bots. Isso gera User-agent: * com Disallow: /. Assim, os mecanismos de busca que respeitam o robots.txt deixarão de rastrear todas as páginas do seu site. Use essa opção apenas quando for intencional, por exemplo, em um ambiente de testes.

Não. O Google ignora Crawl-delay, e o Yandex também desde 2018. Apenas alguns outros crawlers, como o Bing, levam essa diretiva em conta. No modo “Por bot”, você escolhe 1, 5, 10 ou 20 segundos. O valor aparece no bloco para todos os bots e também em cada bloco de bot que você definiu individualmente como Permitir ou Bloquear.

Não de forma confiável. O robots.txt controla apenas o rastreamento. Uma URL bloqueada ainda pode ser indexada se outras páginas tiverem links para ela. Para manter uma página fora dos resultados de busca, use uma meta tag noindex ou proteção por senha. Este gerador não cria regras noindex, e o robots.txt não serve para proteger conteúdo privado.

Não. O gerador de robots.txt só cria novos arquivos e não verifica arquivos robots.txt já publicados. Para ver um arquivo online, abra deine-domain.de/robots.txt no navegador. O relatório de robots.txt no Google Search Console mostra se o Google consegue acessá-lo.