Robots.txt-generator: skapa robots.txt gratis
Med Robots.txt-generatorn skapar du din robots.txt i två lägen: enskilda Allow- och Disallow-regler per sökväg och bot, eller en inställning för var och en av 14 crawlers, från Googlebot till AI-crawlers som GPTBot och ClaudeBot. Ange en sitemap-URL och kopiera sedan innehållet eller ladda ner det som robots.txt. Allt sker i din webbläsare.
Byggd av Rugile Rutkauskaite
Är webbplatsen konfigurerad? Publicera den med snabb och tillförlitlig webbhosting.
Skapa snabbt och Pro Bot är två oberoende konfigurationer – de kombineras inte, utan skapar var sin robots.txt.
robots.txt
User-agent: * Allow: /
Varför detta verktyg
Funktioner i Robots.txt-generatorn
Det här gör Robots.txt-generatorn för din robots.txt-fil.
Två lägen: Snabbskapa och Per bot
”Skapa snabbt” för enskilda Allow-/Disallow-regler per sökväg och bot, ”Per bot” för en standardregel plus en inställning per crawler. Båda lägena skapar var sin robots.txt.
Sökmotorer och AI-crawlers
Du kan välja mellan 14 crawlers, från Googlebot och Bingbot till AI-crawlers som GPTBot, Google-Extended, CCBot, ClaudeBot och PerplexityBot.
Mallar för WordPress
Med ett klick blockeras /wp-admin/ och /cgi-bin/ medan /wp-admin/admin-ajax.php tillåts. Med ytterligare ett klick tillåts /wp-content/uploads/. Om en sökväg saknar snedstreck i början lägger verktyget till det.
Crawl-delay med anmärkning
I läget Per bot väljer du 1, 5, 10 eller 20 sekunder. Google och Yandex ignorerar Crawl-delay, men vissa andra crawlers, som Bing, tar hänsyn till det.
Sitemap-rad
Ange hela URL:en till din sitemap. Verktyget lägger till den som en Sitemap-rad sist i robots.txt.
Skapas i webbläsaren
robots.txt skapas direkt i din webbläsare. Dina inmatningar skickas inte till någon server. Kopiera innehållet eller ladda ned det som filen robots.txt.
Guide
Så skapar du en robots.txt med generatorn
Från läge till uppladdning: skapa din robots.txt i sex steg.
Steg 1
Välj läge
Välj ”Snabbskapa” för enskilda Allow-/Disallow-regler eller ”Per bot” för att ställa in sökmotorer och AI-crawlers individuellt.
Steg 2
Skapa regler
I ”Snabbskapa” väljer du Allow eller Disallow för varje rad, anger en sökväg som /wp-admin/ och väljer ”Alla bots (*)” eller en viss bot. Du kan lägga till fler rader och mallar för viktiga filer och bilder med ett klick.
Steg 3
Styr bots individuellt
I ”Per bot” anger du om alla bots ska vara tillåtna eller blockerade som standard. Du kan också välja Crawl-delay och ställa in enskilda crawlers, som GPTBot, på Standard, Tillåt eller Blockera.
Steg 4
Ange sitemap
Ange hela URL:en till din sitemap, till exempel https://deine-seite.de/sitemap.xml.
Steg 5
Kopiera eller ladda ner
Kontrollera förhandsvisningen och klicka på ”Kopiera” eller ”Ladda ner”. Den nedladdade filen heter redan robots.txt.
Steg 6
Ladda upp och öppna
Ladda upp robots.txt till domänens rotkatalog och öppna deine-domain.de/robots.txt i webbläsaren för att se om filen är tillgänglig.
Exempel
Exempel på robots.txt från generatorn
Fyra typiska filer, precis som Robots.txt-generatorn skapar dem med de beskrivna inställningarna.
Tillåt allt
Det här genererar verktyget så länge du inte lägger till någon regel i ”Snabbskapa”: Alla crawlers får crawla hela webbplatsen.
User-agent: * Allow: /
Blockera hela webbplatsen (Disallow all)
”Per bot” med standardinställningen ”Inte tillåtet”. Obs! Sökmotorer som följer robots.txt kommer då inte längre att crawla några sidor på din webbplats.
User-agent: * Disallow: /
Blockera AI-crawlers
”Per bot” med GPTBot, Google-Extended, CCBot, ClaudeBot och PerplexityBot inställda på ”Blockera”. Alla andra bots står kvar på Standard och får fortsätta crawla.
User-agent: * Allow: / User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: PerplexityBot Disallow: /
WordPress med sitemap
”Snabbskapa” med mallarna för viktiga filer och bilder samt en sitemap-URL.
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /cgi-bin/ Allow: /wp-content/uploads/ Sitemap: https://deine-seite.de/sitemap.xml
Syntax
Vad en robots.txt innehåller
robots.txt är en offentlig textfil i domänens rotkatalog. Den talar om för crawlers vilka sökvägar de får crawla. Generatorn skriver följande instruktioner:
| Instruktion | Betydelse | I generatorn |
|---|---|---|
| User-agent | Anger vilken crawler de följande reglerna gäller för. * står för alla bots. | Verktyget skriver ett eget block för varje vald bot. |
| Disallow | Förbjuder crawling av en sökväg. Disallow: / blockerar hela webbplatsen. | För varje regelrad i ”Snabbskapa” eller som ”Blockera” i ”Per bot”. |
| Allow | Tillåter uttryckligen en sökväg, till exempel som undantag i ett blockerat område. | För varje regelrad eller som ”Tillåt” i ”Per bot”. Utan regler i ”Snabbskapa” skriver verktyget Allow: / för alla bots. |
| Sitemap | Anger hela URL:en till din XML-sitemap. | I båda lägena via sitemap-fältet, som sista raden i filen. |
| Crawl-delay | Ber crawlers att vänta mellan två förfrågningar. Google ignorerar uppgiften. | Endast i ”Per bot”, med 1, 5, 10 eller 20 sekunder, även i varje botblock som ställts in individuellt. |
Dessa 14 crawlers kan du välja i generatorn
I ”Per bot” får varje crawler en egen inställning. I ”Snabbskapa” väljer du crawler för varje regelrad. Till höger visas den User-agent som verktyget skriver i robots.txt.
- Google
Googlebot - Google Images
Googlebot-Image - Bing
Bingbot - Yandex
YandexBot - Baidu
Baiduspider - DuckDuckGo
DuckDuckBot - Yahoo
Slurp - Apple
Applebot - Facebook
facebookexternalhit - GPTBot (OpenAI)
GPTBot - Google-Extended (Google AI)
Google-Extended - CCBot (Common Crawl)
CCBot - ClaudeBot (Anthropic)
ClaudeBot - PerplexityBot
PerplexityBot
Upptäck mer
Fler verktyg
SSL-kontroll
Kontrollera status, utfärdare, giltighetsperiod och utgångsdatum för ett SSL/TLS-certifikat i en överblick.
Byggd av Sebastian Rademacher
Redirect-kontroll
Granska en URL:s vidarebefordringskedja steg för steg: statuskoder (301/302/307/308), HTTP-header, server-IP och svarstid för varje vidarebefordring.
Byggd av Luca Stanek
Generator för webbplatskarta
Skapa sitemap.xml från en URL-lista: med kontroll av dubbletter och domäner, lastmod och automatiskt webbplatskarteindex från 50.000 adresser. Körs i webbläsaren.
Byggd av Luca Stanek
HTTP-statuskoder
Sökbar lista över vanliga HTTP-statuskoder från 100 till 526: betydelsen av 404, 403, 500, 502 och 503, vanliga orsaker och lösningar, med exempel för nginx och Apache. Körs helt i webbläsaren.
Byggd av Dimitri Heissler
.htaccess-generator och htpasswd-generator
Skapa Apache-.htaccess och .htpasswd online: 301-omdirigeringar, HTTPS, lösenordsskydd med bcrypt, WordPress-regler, felsidor, cachning, GZIP och hotlinkskydd. Körs helt i webbläsaren.
Byggd av Dimitri Heissler
FAQ
Vanliga frågor om Robots.txt-generatorn
Kortfattade svar om robots.txt och det här verktyget.
En Robots.txt-generator skapar robots.txt utifrån dina inställningar, så att du slipper skriva syntaxen själv. Den här har två lägen: ”Snabbskapa” för enskilda Allow-/Disallow-regler per sökväg och bot, och ”Per bot” för en standardregel plus en inställning per crawler. Lägena kombineras inte; vart och ett skapar en egen robots.txt. Verktyget är gratis, kräver ingen inloggning och skapar filen i din webbläsare.
Minst en User-agent-rad för boten och Allow- eller Disallow-regler under den: Disallow förbjuder en sökväg, medan Allow uttryckligen tillåter den. Du kan till exempel blockera /wp-admin/ men tillåta /wp-admin/admin-ajax.php. Du kan även lägga till en Sitemap-rad med hela URL:en, inklusive https://. Om du inte anger någon regel i ”Snabbskapa” genererar verktyget User-agent: * och Allow: /.
Till domänens rotkatalog, inte till en undermapp, till exempel via FTP/SFTP eller filhanteraren hos ditt webbhotell. Därefter kan filen nås på deine-domain.de/robots.txt. Filen som laddas ner från generatorn heter redan robots.txt.
Ställ in GPTBot, Google-Extended, CCBot, ClaudeBot eller PerplexityBot på ”Blockera” i läget ”Per bot”. Generatorn skriver ett eget User-agent-block med Disallow: / för var och en av dessa crawlers. Du kan samtidigt låta sökmotorer som Google och Bing stå kvar på Standard. Tänk på att robots.txt är en uppmaning som seriösa crawlers följer, inte en teknisk spärr.
Välj ”Inte tillåtet” som standard för alla bots i ”Per bot”. Det ger User-agent: * med Disallow: /. Sökmotorer som följer robots.txt kommer då inte längre att crawla några sidor på din webbplats. Använd det bara medvetet, till exempel för en testmiljö.
Nej. Google ignorerar Crawl-delay, och Yandex gör det också sedan 2018. Bara vissa andra crawlers, som Bing, tar hänsyn till det. I läget ”Per bot” väljer du 1, 5, 10 eller 20 sekunder. Värdet står i blocket för alla bots och dessutom i varje botblock som du individuellt har ställt in på Tillåt eller Blockera.
Inte tillförlitligt. robots.txt styr bara crawling. En blockerad URL kan ändå indexeras om andra sidor länkar till den. För att hålla en sida borta från sökresultaten använder du en noindex-metatagg eller lösenordsskydd. Den här generatorn skapar inga noindex-regler, och robots.txt skyddar inte privat innehåll.
Nej, Robots.txt-generatorn skapar bara nya filer och kontrollerar inte robots.txt-filer som redan finns online. Du kan se en publicerad fil genom att öppna deine-domain.de/robots.txt i webbläsaren. I robots.txt-rapporten i Google Search Console ser du om Google kan hämta den.
Fler frågor?
Kontakta supportenLetar du efter hosting för din webbplats?
Oavsett om det gäller WordPress, en webbutik eller ett eget projekt erbjuder ZAP-Hosting dig snabbt och tillförlitligt webbhotell med full SSH-åtkomst.
Ingen konfigurering. Ingen risk. Online på några sekunder.
Letar du efter fler verktyg? Visa alla utvecklarverktyg
Föredragen källa hos Google
