Robots.txt-generator: gratis een robots.txt maken
Met de Robots.txt-generator maak je je robots.txt in twee modi: afzonderlijke Allow- en Disallow-regels per pad en bot, of een instelling voor elk van 14 crawlers, van Googlebot tot AI-crawlers zoals GPTBot en ClaudeBot. Voer de sitemap-URL in en kopieer het resultaat of download het als robots.txt. Alles gebeurt in je browser.
Gebouwd door Rugile Rutkauskaite
Website geconfigureerd? Zet hem online met snelle, betrouwbare webhosting.
Snel aanmaken en Pro Bot zijn twee onafhankelijke configuraties: ze worden niet gecombineerd, maar genereren elk hun eigen robots.txt.
robots.txt
User-agent: * Allow: /
Waarom deze tool
Eigenschappen van de Robots.txt-generator
Wat de Robots.txt-generator voor je robots.txt-bestand doet.
Twee modi: Snel maken en Per bot
‘Snel aanmaken’ voor afzonderlijke Allow-/Disallow-regels per pad en bot, ‘Per bot’ voor een standaardregel plus een instelling per crawler. Beide modi maken elk hun eigen robots.txt.
Zoekmachines en AI-crawlers
Je kunt kiezen uit 14 crawlers, van Googlebot en Bingbot tot de AI-crawlers GPTBot, Google-Extended, CCBot, ClaudeBot en PerplexityBot.
Sjablonen voor WordPress
Met één klik blokkeer je /wp-admin/ en /cgi-bin/ en sta je /wp-admin/admin-ajax.php toe. Met nog een klik geef je /wp-content/uploads/ vrij. Als een pad geen slash aan het begin heeft, voegt de tool die toe.
Crawl-delay met toelichting
In de modus 'Per bot' kies je 1, 5, 10 of 20 seconden. Google en Yandex negeren Crawl-delay, maar sommige andere crawlers, zoals Bing, houden er rekening mee.
Sitemap-regel
Voer de volledige URL van je sitemap in. De tool voegt die als Sitemap-regel toe aan het einde van de robots.txt.
Gegenereerd in je browser
De robots.txt wordt direct in je browser gemaakt. Je invoer wordt niet naar een server gestuurd. Kopieer de inhoud of download deze als bestand robots.txt.
Handleiding
Zo maak je een robots.txt met de generator
Van modus tot upload: in zes stappen naar je robots.txt.
Stap 1
Modus kiezen
Kies 'Snel maken' voor afzonderlijke Allow-/Disallow-regels of 'Per bot' om zoekmachines en AI-crawlers afzonderlijk in te stellen.
Stap 2
Regels toevoegen
Kies bij 'Snel maken' per regel Allow of Disallow, voer een pad zoals /wp-admin/ in en kies 'Alle bots (*)' of een specifieke bot. Met een klik voeg je meer regels en sjablonen voor belangrijke bestanden en afbeeldingen toe.
Stap 3
Bots afzonderlijk beheren
Stel bij 'Per bot' in of alle bots standaard zijn toegestaan of niet, kies eventueel een Crawl-delay en zet afzonderlijke crawlers zoals GPTBot op Standaard, Toestaan of Blokkeren.
Stap 4
Sitemap invoeren
Voer de volledige URL van je sitemap in, bijvoorbeeld https://jouw-site.nl/sitemap.xml.
Stap 5
Kopiëren of downloaden
Controleer het voorbeeld en klik op 'Kopiëren' of 'Downloaden'. Het gedownloade bestand heet al robots.txt.
Stap 6
Uploaden en openen
Upload de robots.txt naar de hoofdmap van je domein en open jouw-domein.nl/robots.txt in je browser om te zien of het bestand online staat.
Voorbeelden
Voorbeelden van robots.txt uit de generator
Vier typische bestanden, precies zoals de Robots.txt-generator ze met de beschreven instellingen maakt.
Alles toestaan
Dit geeft de generator weer zolang je bij 'Snel maken' geen regel invoert: alle crawlers mogen de hele website crawlen.
User-agent: * Allow: /
Hele website blokkeren (Disallow all)
'Per bot' met de standaardinstelling 'Niet toegestaan'. Let op: zoekmachines die de robots.txt volgen, crawlen dan geen enkele pagina van je website meer.
User-agent: * Disallow: /
AI-crawlers blokkeren
'Per bot' met GPTBot, Google-Extended, CCBot, ClaudeBot en PerplexityBot op 'Blokkeren'. Alle andere bots blijven op Standaard staan en mogen blijven crawlen.
User-agent: * Allow: / User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: PerplexityBot Disallow: /
WordPress met sitemap
'Snel maken' met de sjablonen voor belangrijke bestanden en afbeeldingen, plus een sitemap-URL.
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /cgi-bin/ Allow: /wp-content/uploads/ Sitemap: https://deine-seite.de/sitemap.xml
Syntaxis
Wat er in een robots.txt staat
De robots.txt is een openbaar tekstbestand in de hoofdmap van je domein. Het vertelt crawlers welke paden ze mogen crawlen. De generator schrijft deze instructies:
| Instructie | Betekenis | In de generator |
|---|---|---|
| User-agent | Bepaalt voor welke crawler de volgende regels gelden. Een * staat voor alle bots. | Voor elke gekozen bot schrijft de tool een apart blok. |
| Disallow | Verbiedt het crawlen van een pad. Disallow: / blokkeert de hele website. | Per regel bij 'Snel maken' of als 'Blokkeren' bij 'Per bot'. |
| Allow | Staat een pad expliciet toe, bijvoorbeeld als uitzondering binnen een geblokkeerd gedeelte. | Per regel of als 'Toestaan' bij 'Per bot'. Zonder regels bij 'Snel maken' schrijft de tool Allow: / voor alle bots. |
| Sitemap | Vermeldt de volledige URL van je XML-sitemap. | In beide modi via het sitemapveld, als laatste regel van het bestand. |
| Crawl-delay | Vraagt crawlers om een pauze tussen twee verzoeken. Google negeert deze instelling. | Alleen bij 'Per bot', met 1, 5, 10 of 20 seconden, ook in elk afzonderlijk ingesteld botblok. |
Deze 14 crawlers kun je in de generator kiezen
Bij 'Per bot' krijgt elke crawler een eigen instelling; bij 'Snel maken' kies je de crawler per regel. Rechts staat telkens de User-agent die de tool in de robots.txt schrijft.
- Google
Googlebot - Google Images
Googlebot-Image - Bing
Bingbot - Yandex
YandexBot - Baidu
Baiduspider - DuckDuckGo
DuckDuckBot - Yahoo
Slurp - Apple
Applebot - Facebook
facebookexternalhit - GPTBot (OpenAI)
GPTBot - Google-Extended (Google AI)
Google-Extended - CCBot (Common Crawl)
CCBot - ClaudeBot (Anthropic)
ClaudeBot - PerplexityBot
PerplexityBot
Meer ontdekken
Meer tools
SSL Checker
Controleer in één oogopslag de status, uitgever, geldigheidsperiode en vervaldatum van een SSL/TLS-certificaat.
Gebouwd door Sebastian Rademacher
Redirect Checker
Controleer omleidingsketens van een URL stap voor stap: statuscodes (301/302/307/308), HTTP-headers, server-IP en responstijd per omleiding.
Gebouwd door Luca Stanek
Sitemapgenerator
sitemap.xml maken op basis van een URL-lijst: met controle op duplicaten en domeinen, lastmod en een automatische sitemapindex vanaf 50.000 adressen. Werkt in de browser.
Gebouwd door Luca Stanek
HTTP-statuscodes
Doorzoekbare lijst met gangbare HTTP-statuscodes van 100 tot 526: betekenis van 404, 403, 500, 502 en 503, typische oorzaken en oplossingen, met voorbeelden voor nginx en Apache. Werkt volledig in de browser.
Gebouwd door Dimitri Heissler
.htaccess-generator en htpasswd-generator
Maak online Apache-.htaccess- en .htpasswd-bestanden: 301-omleidingen, HTTPS, wachtwoordbeveiliging met bcrypt, WordPress-regels, foutpagina's, caching, GZIP en hotlinkbeveiliging. Werkt volledig in de browser.
Gebouwd door Dimitri Heissler
FAQ
Veelgestelde vragen over de Robots.txt-generator
Korte antwoorden over robots.txt en deze tool.
Een Robots.txt-generator maakt de robots.txt op basis van je instellingen, zonder dat je de syntaxis zelf hoeft te schrijven. Deze generator heeft twee modi: 'Snel maken' voor afzonderlijke Allow-/Disallow-regels per pad en bot, en 'Per bot' voor een standaardregel plus een instelling per crawler. De modi worden niet gecombineerd: elk maakt een eigen robots.txt. De tool is gratis, vereist geen aanmelding en maakt het bestand in je browser.
Minimaal een User-agent-regel voor de bot, met daaronder Allow- of Disallow-regels: Disallow verbiedt een pad, Allow staat het expliciet toe. Je kunt bijvoorbeeld /wp-admin/ blokkeren en /wp-admin/admin-ajax.php toestaan. Optioneel volgt een Sitemap-regel met de volledige URL, inclusief https://. Voer je bij 'Snel maken' geen regel in, dan geeft de generator User-agent: * en Allow: / weer.
In de hoofdmap van je domein, niet in een submap, bijvoorbeeld via FTP/SFTP of de bestandsbeheerder van je hosting. Daarna is het bestand bereikbaar via jouw-domein.nl/robots.txt. Het bestand dat je met de generator downloadt, heet al robots.txt.
Zet bij 'Per bot' GPTBot, Google-Extended, CCBot, ClaudeBot of PerplexityBot op 'Blokkeren'. De generator schrijft voor elk van deze crawlers een apart User-agent-blok met Disallow: /. Zoekmachines zoals Google en Bing kun je daarbij op Standaard laten staan. Let op: de robots.txt is een verzoek dat betrouwbare crawlers volgen, geen technische blokkade.
Kies bij 'Per bot' als standaardinstelling voor alle bots 'Niet toegestaan'. Dat levert User-agent: * met Disallow: / op. Zoekmachines die de robots.txt volgen, crawlen dan geen enkele pagina van je website meer. Gebruik dit alleen bewust, bijvoorbeeld voor een testomgeving.
Nee. Google negeert Crawl-delay, Yandex sinds 2018 ook. Alleen sommige andere crawlers, zoals Bing, houden er rekening mee. In de modus 'Per bot' kies je 1, 5, 10 of 20 seconden. De waarde staat in het blok voor alle bots en daarnaast in elk botblok dat je afzonderlijk op Toestaan of Blokkeren hebt gezet.
Niet betrouwbaar. De robots.txt regelt alleen het crawlen. Een geblokkeerde URL kan toch in de index terechtkomen als andere pagina's ernaar linken. Gebruik een noindex-metatag of wachtwoordbeveiliging om een pagina uit de zoekresultaten te houden. Deze generator maakt geen noindex-regels en de robots.txt is niet geschikt om privé-inhoud te beschermen.
Nee, de Robots.txt-generator maakt alleen nieuwe bestanden en controleert geen robots.txt die al online staat. Je kunt het online bestand bekijken door jouw-domein.nl/robots.txt in je browser te openen. Het robots.txt-rapport in Google Search Console laat zien of Google het bestand kan ophalen.
Nog vragen?
Contact opnemen met supportHosting voor je website nodig?
Of het nu gaat om WordPress, een webshop of je eigen project: ZAP-Hosting biedt je snelle, betrouwbare webhosting met volledige SSH-toegang.
Geen installatie. Geen risico. Binnen enkele seconden online.
Op zoek naar meer tools? Alle ontwikkelaarstools bekijken
Voorkeursbron bij Google
