Générateur robots.txt : créer un fichier robots.txt gratuitement

Un générateur robots.txt crée le fichier robots.txt à partir de tes réglages, sans que tu aies à écrire la syntaxe à la main. Celui-ci propose deux modes : « Création rapide » pour définir des règles Allow/Disallow par chemin et par bot, et « Par bot » pour définir une règle par défaut et un réglage pour chaque robot. Les modes ne se combinent pas : chacun génère son propre fichier robots.txt. L’outil est gratuit, ne nécessite aucune inscription et crée le fichier dans ton navigateur.

Il faut au moins une ligne User-agent indiquant le bot, suivie de règles Allow ou Disallow : Disallow interdit un chemin, tandis que Allow l’autorise explicitement. Tu peux ainsi bloquer /wp-admin/ tout en autorisant /wp-admin/admin-ajax.php. Tu peux aussi ajouter une ligne Sitemap avec l’URL complète, y compris https://. Si tu ne saisis aucune règle dans « Création rapide », le générateur produit User-agent: * et Allow: /.

À la racine de ton domaine, et non dans un sous-dossier, par exemple via FTP/SFTP ou le gestionnaire de fichiers de ton hébergement. Le fichier sera ensuite accessible à l’adresse deine-domain.de/robots.txt. Le fichier téléchargé depuis le générateur porte déjà le nom robots.txt.

Dans « Par bot », règle GPTBot, Google-Extended, CCBot, ClaudeBot ou PerplexityBot sur « Bloquer ». Le générateur écrit pour chacun de ces robots un bloc User-agent distinct avec Disallow: /. Tu peux laisser les moteurs de recherche comme Google et Bing sur Par défaut. Attention : le fichier robots.txt est une demande respectée par les robots fiables, pas un blocage technique.

Dans « Par bot », choisis « Non autorisé » comme réglage par défaut pour tous les bots. Cela produit User-agent: * avec Disallow: /. Les moteurs de recherche qui respectent le fichier robots.txt ne parcourront alors plus aucune page de ton site. N’utilise ce réglage qu’en connaissance de cause, par exemple pour un environnement de test.

Non. Google ignore Crawl-delay, Yandex aussi depuis 2018. Seuls certains autres robots, comme Bing, en tiennent compte. Dans le mode « Par bot », tu choisis 1, 5, 10 ou 20 secondes. La valeur figure dans le bloc destiné à tous les bots ainsi que dans chaque bloc de bot que tu as réglé séparément sur Autoriser ou Bloquer.

Pas de manière fiable. Le fichier robots.txt contrôle uniquement l’exploration. Une URL bloquée peut tout de même être indexée si d’autres pages pointent vers elle. Pour empêcher une page d’apparaître dans les résultats de recherche, utilise une balise méta noindex ou protège-la par mot de passe. Ce générateur ne crée pas de règles noindex, et le fichier robots.txt ne protège pas les contenus privés.

Non, le générateur robots.txt crée uniquement de nouveaux fichiers et ne vérifie pas les fichiers robots.txt déjà en ligne. Pour consulter un fichier en ligne, ouvre deine-domain.de/robots.txt dans ton navigateur. Le rapport sur le fichier robots.txt de la Google Search Console indique si Google peut y accéder.