Robots.txt Generator: robots.txt kostenlos erstellen
Mit dem Robots.txt Generator erstellst du deine robots.txt in zwei Modi: einzelne Allow- und Disallow-Regeln pro Pfad und Bot oder eine Einstellung für jeden von 14 Crawlern, von Googlebot bis zu KI-Crawlern wie GPTBot und ClaudeBot. Sitemap-URL eintragen, dann kopieren oder als robots.txt herunterladen. Alles läuft in deinem Browser.
Gebaut von Rugile Rutkauskaite
Seite fertig? Bring sie mit schnellem, zuverlässigem Webhosting online.
Schnell erstellen und Pro Bot sind zwei unabhängige Konfigurationen - sie werden nicht kombiniert, sondern erzeugen jeweils ihre eigene robots.txt.
robots.txt
User-agent: * Allow: /
Warum dieses Tool
Eigenschaften des Robots.txt Generators
Was der Robots.txt Generator für deine robots.txt-Datei erledigt.
Zwei Modi: Schnell erstellen und Pro Bot
„Schnell erstellen“ für einzelne Allow-/Disallow-Regeln pro Pfad und Bot, „Pro Bot“ für eine Standardregel plus eine Einstellung je Crawler. Beide Modi erzeugen jeweils ihre eigene robots.txt.
Suchmaschinen und KI-Crawler
14 Crawler stehen zur Auswahl, von Googlebot und Bingbot bis zu den KI-Crawlern GPTBot, Google-Extended, CCBot, ClaudeBot und PerplexityBot.
Vorlagen für WordPress
Ein Klick sperrt /wp-admin/ und /cgi-bin/ und erlaubt /wp-admin/admin-ajax.php, ein weiterer gibt /wp-content/uploads/ frei. Fehlt einem Pfad der Schrägstrich am Anfang, ergänzt das Tool ihn.
Crawl-delay mit Hinweis
Im Modus Pro Bot wählst du 1, 5, 10 oder 20 Sekunden. Google und Yandex ignorieren Crawl-delay, einige andere Crawler wie Bing berücksichtigen es.
Sitemap-Zeile
Trage die vollständige URL deiner Sitemap ein, das Tool hängt sie als Sitemap-Zeile ans Ende der robots.txt.
Im Browser erzeugt
Die robots.txt entsteht live in deinem Browser, deine Eingaben werden nicht an einen Server gesendet. Kopiere den Inhalt oder lade ihn als Datei robots.txt herunter.
Anleitung
So erstellst du eine robots.txt mit dem Generator
Vom Modus bis zum Upload: in sechs Schritten zu deiner robots.txt.
Schritt 1
Modus wählen
Wähle „Schnell erstellen“ für einzelne Allow-/Disallow-Regeln oder „Pro Bot“, um Suchmaschinen und KI-Crawler einzeln festzulegen.
Schritt 2
Regeln anlegen
Wähle in „Schnell erstellen“ pro Zeile Allow oder Disallow, gib einen Pfad wie /wp-admin/ ein und wähle „Alle Bots (*)“ oder einen bestimmten Bot. Weitere Zeilen und die Vorlagen für wichtige Dateien und Bilder fügst du per Klick hinzu.
Schritt 3
Bots einzeln steuern
Lege in „Pro Bot“ fest, ob alle Bots standardmäßig erlaubt oder nicht erlaubt sind, wähle optional einen Crawl-delay und setze einzelne Crawler wie GPTBot auf Standard, Erlauben oder Blockieren.
Schritt 4
Sitemap eintragen
Trage die vollständige URL deiner Sitemap ein, zum Beispiel https://deine-seite.de/sitemap.xml.
Schritt 5
Kopieren oder herunterladen
Prüfe die Vorschau und klicke auf „Kopieren“ oder „Herunterladen“. Die heruntergeladene Datei heißt bereits robots.txt.
Schritt 6
Hochladen und aufrufen
Lade die robots.txt ins Wurzelverzeichnis deiner Domain hoch und rufe deine-domain.de/robots.txt im Browser auf, um zu sehen, ob sie online ist.
Beispiele
Robots.txt Beispiele aus dem Generator
Vier typische Dateien, genau so, wie der Robots.txt Generator sie mit den beschriebenen Einstellungen erzeugt.
Alles erlauben
Das gibt der Generator aus, solange du in „Schnell erstellen“ keine Regel einträgst: Alle Crawler dürfen die gesamte Website crawlen.
User-agent: * Allow: /
Ganze Website sperren (Disallow all)
„Pro Bot“ mit dem Standard „Nicht erlaubt“. Vorsicht: Suchmaschinen, die sich an die robots.txt halten, crawlen dann keine Seite deiner Website mehr.
User-agent: * Disallow: /
KI-Crawler blockieren
„Pro Bot“ mit GPTBot, Google-Extended, CCBot, ClaudeBot und PerplexityBot auf „Blockieren“. Alle anderen Bots bleiben auf Standard und dürfen weiter crawlen.
User-agent: * Allow: / User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: PerplexityBot Disallow: /
WordPress mit Sitemap
„Schnell erstellen“ mit den Vorlagen für wichtige Dateien und für Bilder sowie einer Sitemap-URL.
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /cgi-bin/ Allow: /wp-content/uploads/ Sitemap: https://deine-seite.de/sitemap.xml
Syntax
Was in einer robots.txt steht
Die robots.txt ist eine öffentliche Textdatei im Wurzelverzeichnis deiner Domain. Sie sagt Crawlern, welche Pfade sie crawlen dürfen. Diese Anweisungen schreibt der Generator:
| Anweisung | Bedeutung | Im Generator |
|---|---|---|
| User-agent | Legt fest, für welchen Crawler die folgenden Regeln gelten. Ein * steht für alle Bots. | Für jeden gewählten Bot schreibt das Tool einen eigenen Block. |
| Disallow | Verbietet das Crawlen eines Pfads. Disallow: / sperrt die ganze Website. | Pro Regelzeile in „Schnell erstellen“ oder als „Blockieren“ in „Pro Bot“. |
| Allow | Erlaubt einen Pfad ausdrücklich, etwa als Ausnahme in einem gesperrten Bereich. | Pro Regelzeile oder als „Erlauben“ in „Pro Bot“. Ohne Regeln in „Schnell erstellen“ schreibt das Tool Allow: / für alle Bots. |
| Sitemap | Nennt die vollständige URL deiner XML-Sitemap. | In beiden Modi über das Sitemap-Feld, als letzte Zeile der Datei. |
| Crawl-delay | Bittet Crawler um eine Pause zwischen zwei Anfragen. Google ignoriert die Angabe. | Nur in „Pro Bot“, mit 1, 5, 10 oder 20 Sekunden, auch in jedem einzeln eingestellten Bot-Block. |
Diese 14 Crawler wählst du im Generator aus
In „Pro Bot“ bekommt jeder Crawler eine eigene Einstellung, in „Schnell erstellen“ wählst du ihn pro Regelzeile aus. Rechts steht jeweils der User-agent, den das Tool in die robots.txt schreibt.
- Google
Googlebot - Google Images
Googlebot-Image - Bing
Bingbot - Yandex
YandexBot - Baidu
Baiduspider - DuckDuckGo
DuckDuckBot - Yahoo
Slurp - Apple
Applebot - Facebook
facebookexternalhit - GPTBot (OpenAI)
GPTBot - Google-Extended (Google AI)
Google-Extended - CCBot (Common Crawl)
CCBot - ClaudeBot (Anthropic)
ClaudeBot - PerplexityBot
PerplexityBot
Mehr entdecken
Weitere Tools
SSL Checker
Status, Aussteller, Gültigkeitszeitraum und Ablaufdatum eines SSL/TLS-Zertifikats auf einen Blick prüfen.
Gebaut von Sebastian Rademacher
Redirect Checker
Weiterleitungsketten einer URL Hop für Hop prüfen: Statuscodes (301/302/307/308), HTTP-Header, Server-IP und Antwortzeit je Weiterleitung.
Gebaut von Luca Stanek
Sitemap Generator
sitemap.xml aus einer URL-Liste erstellen: mit Duplikat- und Domain-Prüfung, lastmod und automatischem Sitemap-Index ab 50.000 Adressen. Läuft im Browser.
Gebaut von Luca Stanek
HTTP Status Codes
Liste der gängigen HTTP-Statuscodes von 100 bis 526, durchsuchbar: Bedeutung von 404, 403, 500, 502 und 503, typische Ursachen und Lösung, mit nginx- und Apache-Beispielen. Läuft komplett im Browser.
Gebaut von Dimitri Heissler
.htaccess Generator & htpasswd Generator
Apache-.htaccess und .htpasswd online erstellen: 301-Weiterleitungen, HTTPS, Passwortschutz mit bcrypt, WordPress-Regeln, Fehlerseiten, Caching, GZIP und Hotlink-Schutz. Läuft komplett im Browser.
Gebaut von Dimitri Heissler
FAQ
Häufig gestellte Fragen zum Robots.txt Generator
Kurze Antworten rund um robots.txt und dieses Tool.
Ein Robots.txt Generator erstellt die robots.txt aus deinen Einstellungen, ohne dass du die Syntax von Hand schreibst. Dieser hat zwei Modi: „Schnell erstellen“ für einzelne Allow-/Disallow-Regeln pro Pfad und Bot und „Pro Bot“ für eine Standardregel plus eine Einstellung je Crawler. Die Modi werden nicht kombiniert, jeder erzeugt seine eigene robots.txt. Das Tool ist kostenlos, braucht keine Anmeldung und erzeugt die Datei in deinem Browser.
Mindestens eine User-agent-Zeile für den Bot und darunter Allow- oder Disallow-Regeln: Disallow verbietet einen Pfad, Allow erlaubt ihn ausdrücklich, etwa /wp-admin/ sperren und /wp-admin/admin-ajax.php erlauben. Optional folgt eine Sitemap-Zeile mit der vollständigen URL inklusive https://. Trägst du in „Schnell erstellen“ keine Regel ein, gibt der Generator User-agent: * und Allow: / aus.
Ins Wurzelverzeichnis deiner Domain, nicht in einen Unterordner, zum Beispiel per FTP/SFTP oder über den Dateimanager deines Hostings. Danach ist sie unter deine-domain.de/robots.txt erreichbar. Der Download des Generators heißt bereits robots.txt.
Stelle im Modus „Pro Bot“ GPTBot, Google-Extended, CCBot, ClaudeBot oder PerplexityBot auf „Blockieren“. Der Generator schreibt für jeden dieser Crawler einen eigenen User-agent-Block mit Disallow: /. Suchmaschinen wie Google und Bing kannst du dabei auf Standard lassen. Beachte: Die robots.txt ist eine Bitte, an die sich seriöse Crawler halten, keine technische Sperre.
Wähle in „Pro Bot“ beim Standard für alle Bots „Nicht erlaubt“. Das ergibt User-agent: * mit Disallow: /. Damit crawlen Suchmaschinen, die sich an die robots.txt halten, keine Seite deiner Website mehr. Nutze das nur bewusst, etwa für eine Testumgebung.
Nein. Google ignoriert Crawl-delay, Yandex seit 2018 ebenfalls. Nur einige andere Crawler wie Bing berücksichtigen ihn. Im Modus „Pro Bot“ wählst du 1, 5, 10 oder 20 Sekunden. Der Wert steht im Block für alle Bots und zusätzlich in jedem Bot-Block, den du einzeln auf Erlauben oder Blockieren gestellt hast.
Nicht zuverlässig. Die robots.txt steuert nur das Crawling. Eine gesperrte URL kann trotzdem im Index landen, wenn andere Seiten auf sie verlinken. Um eine Seite aus den Suchergebnissen herauszuhalten, nutzt du ein noindex-Meta-Tag oder einen Passwortschutz. Noindex-Regeln erzeugt dieser Generator nicht, und als Schutz für private Inhalte taugt die robots.txt nicht.
Nein, der Robots.txt Generator erstellt nur neue Dateien und prüft keine robots.txt, die schon online ist. Eine Live-Datei siehst du, indem du deine-domain.de/robots.txt im Browser öffnest. Ob Google sie abrufen kann, zeigt der robots.txt-Bericht in der Google Search Console.
Noch weitere Fragen?
Support kontaktierenHosting für deine Website gesucht?
Egal ob WordPress, Shop oder eigenes Projekt - ZAP-Hosting bietet dir schnelles, zuverlässiges Webhosting mit vollem SSH-Zugang.
Kein Setup. Kein Risiko. In Sekunden online.
Auf der Suche nach weiteren Tools? Alle Entwickler-Tools ansehen
Bevorzugte Quelle bei Google
