Přejít na obsah
Zdarma a bez registrace, v prohlížeči

Generátor robots.txt: vytvoř robots.txt zdarma

Pomocí generátoru robots.txt vytvoříš soubor robots.txt dvěma způsoby: nastavíš jednotlivá pravidla Allow a Disallow podle cesty a bota, nebo nastavení pro každého z 14 crawlerů, od Googlebotu po AI crawlery jako GPTBot a ClaudeBot. Zadej URL sitemap a výsledek zkopíruj nebo stáhni jako robots.txt. Vše probíhá v tvém prohlížeči.

Postavil Rugile Rutkauskaite

Máš web připravený? Spusť ho na rychlém a spolehlivém webhostingu.

Rychlé vytvoření a Pro Bot jsou dvě nezávislé konfigurace – nekombinují se, každá vytváří vlastní robots.txt.

robots.txt

User-agent: *
Allow: /

Proč použít tento nástroj

Funkce generátoru robots.txt

Co generátor Robots.txt udělá pro tvůj soubor robots.txt.

Dva režimy: Rychlé vytvoření a Pro Bot

„Rychlé vytvoření“ slouží k jednotlivým pravidlům Allow/Disallow pro každou cestu a bota, „Podle bota“ k výchozímu pravidlu a nastavení pro každý crawler. Každý režim vytvoří vlastní robots.txt.

Vyhledávače a AI crawlery

Na výběr je 14 crawlerů, od Googlebotu a Bingbotu po AI crawlery GPTBot, Google-Extended, CCBot, ClaudeBot a PerplexityBot.

Šablony pro WordPress

Jedním kliknutím zablokuješ /wp-admin/ a /cgi-bin/ a povolíš /wp-admin/admin-ajax.php, dalším zpřístupníš /wp-content/uploads/. Pokud na začátku cesty chybí lomítko, nástroj ho doplní.

Crawl-delay s upozorněním

V režimu Pro Bot vybereš 1, 5, 10 nebo 20 sekund. Google a Yandex Crawl-delay ignorují, některé jiné crawlery, například Bing, ho zohledňují.

Řádek sitemapy

Zadej úplnou URL své sitemapy. Nástroj ji přidá jako řádek Sitemap na konec robots.txt.

Vygenerováno v prohlížeči

Soubor robots.txt vzniká přímo ve tvém prohlížeči, tvé údaje se neodesílají na server. Zkopíruj obsah nebo si ho stáhni jako soubor robots.txt.

Návod

Jak pomocí generátoru vytvořit robots.txt

Od výběru režimu až po nahrání: vytvoř robots.txt v šesti krocích.

Krok 1

Vyber režim

Pro jednotlivá pravidla Allow/Disallow vyber „Rychlé vytvoření“, nebo zvol „Podle bota“ a nastav vyhledávače a AI crawlery jednotlivě.

Krok 2

Vytvořit pravidla

V části „Rychlé vytvoření“ vyber pro každý řádek Allow nebo Disallow, zadej cestu, například /wp-admin/, a vyber „Všichni boti (*)“ nebo konkrétního bota. Další řádky i šablony pro důležité soubory a obrázky přidáš kliknutím.

Krok 3

Ovládat boty jednotlivě

V části „Pro Bot“ nastav, zda jsou ve výchozím stavu povoleni všichni boti, případně zvol crawl-delay a jednotlivým crawlerům, například GPTBot, nastav výchozí stav, povolení nebo blokování.

Krok 4

Přidat soubor sitemap

Zadej úplnou URL své mapy webu, například https://deine-seite.de/sitemap.xml.

Krok 5

Zkopírovat nebo stáhnout

Zkontroluj náhled a klikni na „Kopírovat“ nebo „Stáhnout“. Stažený soubor už má název robots.txt.

Krok 6

Nahrát a otevřít

Nahraj robots.txt do kořenového adresáře své domény a v prohlížeči otevři deine-domain.de/robots.txt, abys ověřil, že je soubor dostupný online.

Příklady

Příklady robots.txt z generátoru

Čtyři typické soubory přesně v podobě, v jaké je generátor robots.txt vytvoří s popsanými nastaveními.

Povolit vše

Tohle generátor vypíše, dokud v části „Rychlé vytvoření“ nezadáš žádné pravidlo: všechny crawlery smějí procházet celý web.

User-agent: *
Allow: /

Zablokovat celý web (Disallow all)

„Podle bota“ s výchozím nastavením „Nepovoleno“. Pozor: Vyhledávače, které respektují robots.txt, pak nebudou procházet žádné stránky tvého webu.

User-agent: *
Disallow: /

Blokovat crawlery AI

U „Pro jednotlivé boty“ nastav GPTBot, Google-Extended, CCBot, ClaudeBot a PerplexityBot na „Blokovat“. Všichni ostatní boti zůstanou na výchozím nastavení a mohou dál procházet web.

User-agent: *
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

WordPress se sitemapou

„Rychle vytvořit“ pomocí šablon pro důležité soubory a obrázky a URL sitemapy.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cgi-bin/
Allow: /wp-content/uploads/

Sitemap: https://deine-seite.de/sitemap.xml

Syntaxe

Co obsahuje soubor robots.txt

robots.txt je veřejný textový soubor v kořenovém adresáři tvé domény. Říká crawlerům, které cesty smějí procházet. Generátor do něj zapíše tyto pokyny:

PokynVýznamV generátoru
User-agentUrčuje, pro který crawler platí následující pravidla. * znamená všechny boty.Nástroj vytvoří pro každého vybraného bota samostatný blok.
DisallowZakazuje procházení dané cesty roboty. Disallow: / zablokuje celý web.Pro každý řádek pravidla v „Rychlé vytvoření“ nebo jako „Blokovat“ v „Pro Bot“.
AllowVýslovně povoluje cestu, například jako výjimku v blokované oblasti.Na každém řádku pravidel nebo jako „Povolit“ v části „Pro bota“. Bez pravidel v části „Rychlé vytvoření“ nástroj zapíše Allow: / pro všechny boty.
SitemapUvádí úplnou URL tvé XML sitemapy.V obou režimech přes pole Sitemap, jako poslední řádek souboru.
Crawl-delayŽádá crawlery o pauzu mezi dvěma požadavky. Google toto nastavení ignoruje.Jen v „Pro Bot“: interval 1, 5, 10 nebo 20 sekund, a to i v každém samostatně nastaveném bloku bota.

Těchto 14 crawlerů si vybereš v generátoru

V režimu „Pro Bot“ má každý crawler vlastní nastavení, v režimu „Rychlé vytvoření“ ho vybíráš pro každý řádek pravidla. Vpravo je vždy uveden User-agent, kterého nástroj zapíše do robots.txt.

  • GoogleGooglebot
  • Google ImagesGooglebot-Image
  • BingBingbot
  • YandexYandexBot
  • BaiduBaiduspider
  • DuckDuckGoDuckDuckBot
  • YahooSlurp
  • AppleApplebot
  • Facebookfacebookexternalhit
  • GPTBot (OpenAI)GPTBot
  • Google-Extended (Google AI)Google-Extended
  • CCBot (Common Crawl)CCBot
  • ClaudeBot (Anthropic)ClaudeBot
  • PerplexityBotPerplexityBot

Objevit více

Další nástroje

Kontrola SSL

Zkontroluj na první pohled stav, vydavatele, dobu platnosti a datum vypršení certifikátu SSL/TLS.

Postavil Sebastian Rademacher

Kontrola přesměrování

Zkontroluj řetězec přesměrování URL krok za krokem: stavové kódy (301/302/307/308), HTTP hlavičky, IP adresu serveru a dobu odezvy každého přesměrování.

Postavil Luca Stanek

Generátor mapy webu

Vytvoř sitemap.xml ze seznamu URL: s kontrolou duplicit a domén, údajem lastmod a automatickým indexem sitemap od 50 000 adres. Funguje v prohlížeči.

Postavil Luca Stanek

Stavové kódy HTTP

Prohledávatelný seznam běžných stavových kódů HTTP od 100 do 526: význam kódů 404, 403, 500, 502 a 503, typické příčiny a řešení s příklady pro nginx a Apache. Funguje celý v prohlížeči.

Postavil Dimitri Heissler

Generátor .htaccess a htpasswd

Vytvoř si online soubory Apache .htaccess a .htpasswd: přesměrování 301, HTTPS, ochrana heslem pomocí bcrypt, pravidla WordPressu, chybové stránky, ukládání do mezipaměti, GZIP a ochrana proti hotlinkingu. Vše běží přímo v prohlížeči.

Postavil Dimitri Heissler

FAQ

Časté dotazy ke generátoru robots.txt

Stručné odpovědi o robots.txt a tomto nástroji.

Co je generátor robots.txt a jak ho použít?

Generátor robots.txt vytvoří soubor robots.txt podle tvých nastavení, aniž bys musel syntaxi psát ručně. Má dva režimy: „Rychlé vytvoření“ pro jednotlivá pravidla Allow/Disallow podle cesty a bota a „Podle bota“ pro výchozí pravidlo a nastavení pro každý crawler. Režimy se nekombinují, každý vytváří vlastní robots.txt. Nástroj je zdarma, nevyžaduje registraci a soubor vytváří přímo v tvém prohlížeči.

Co musí obsahovat robots.txt?

Alespoň jeden řádek User-agent pro bota a pod ním pravidla Allow nebo Disallow: Disallow zakáže cestu, Allow ji výslovně povolí, například můžeš zakázat /wp-admin/ a povolit /wp-admin/admin-ajax.php. Volitelně přidej řádek Sitemap s úplnou URL včetně https://. Pokud v části „Rychlé vytvoření“ nezadáš žádné pravidlo, generátor vytvoří User-agent: * a Allow: /.

Kam mám nahrát robots.txt?

Do kořenového adresáře své domény, ne do podsložky, například přes FTP/SFTP nebo správce souborů svého hostingu. Pak bude soubor dostupný na adrese tvoje-domena.cz/robots.txt. Soubor stažený z generátoru se už jmenuje robots.txt.

Jak zablokuji AI crawlery, jako jsou GPTBot nebo ClaudeBot?

V režimu „Pro každého bota“ nastav pro GPTBot, Google-Extended, CCBot, ClaudeBot a PerplexityBot možnost „Blokovat“. Generátor pro každého z těchto crawlerů vytvoří vlastní blok User-agent s Disallow: /. Vyhledávače jako Google a Bing můžeš ponechat na výchozím nastavení. Pozor: robots.txt je žádost, kterou seriózní crawlery respektují, nikoli technická blokace.

Jak zablokuji celý svůj web pro všechny boty?

V části „Pro Bot“ vyber jako výchozí nastavení pro všechny boty „Nepovoleno“. Vznikne tím User-agent: * s Disallow: /. Vyhledávače, které respektují robots.txt, pak nebudou procházet žádnou stránku tvého webu. Použij to jen záměrně, například pro testovací prostředí.

Respektuje Google Crawl-delay?

Ne. Google ignoruje Crawl-delay a Yandex ho ignoruje také od roku 2018. Zohledňují ho jen někteří další crawlery, například Bing. V režimu „Pro Bot“ si vybereš 1, 5, 10 nebo 20 sekund. Hodnota se uvede v bloku pro všechny boty a navíc v každém bloku bota, kterému jsi jednotlivě nastavil povolení nebo blokování.

Brání robots.txt zobrazení stránky na Googlu?

Ne spolehlivě. Soubor robots.txt řídí jen procházení webu. Blokovaná URL se přesto může dostat do indexu, pokud na ni odkazují jiné stránky. Chceš-li stránku vynechat z výsledků vyhledávání, použij meta tag noindex nebo ochranu heslem. Tento generátor pravidla noindex nevytváří a robots.txt není vhodný k ochraně soukromého obsahu.

Můžu tímto nástrojem zkontrolovat existující robots.txt?

Ne, generátor robots.txt pouze vytváří nové soubory a nekontroluje soubor robots.txt, který už je online. Živý soubor zobrazíš otevřením tvoje-domena.cz/robots.txt v prohlížeči. Jestli ho Google dokáže načíst, zjistíš z přehledu robots.txt v Google Search Console.

Máš další otázky?

Kontaktovat podporu
Tvůj web potřebuje domov

Hledáš hosting pro svůj web?

Ať už jde o WordPress, e-shop nebo vlastní projekt, ZAP-Hosting ti nabízí rychlý a spolehlivý webhosting s plným přístupem přes SSH.

4,3/5 Trustpilot32.000+ Aktivní serveryOd roku 2010

Bez nastavování. Bez rizika. Online během několika sekund.

Flexibilní doba pronájmuLze kdykoli zrušitOnline za 60 sekund

Hledáš další nástroje? Zobrazit všechny nástroje pro vývojáře