Generator robots.txt: utwórz robots.txt za darmo
W generatorze robots.txt utworzysz plik w jednym z dwóch trybów: ustawisz osobne reguły Allow i Disallow dla ścieżek i botów albo skonfigurujesz każdego z 14 robotów — od Googlebota po roboty AI, takie jak GPTBot i ClaudeBot. Wpisz adres URL mapy witryny, a potem skopiuj wynik lub pobierz go jako plik robots.txt. Wszystko działa w Twojej przeglądarce.
Autor: Rugile Rutkauskaite
Strona jest skonfigurowana? Opublikuj ją dzięki szybkiemu, niezawodnemu hostingowi WWW.
Szybkie tworzenie i Pro Bot to dwie niezależne konfiguracje — nie są łączone, lecz każda generuje własny plik robots.txt.
robots.txt
User-agent: * Allow: /
Dlaczego to narzędzie?
Funkcje generatora robots.txt
Co generator robots.txt zrobi z Twoim plikiem robots.txt.
Dwa tryby: „Szybkie tworzenie” i „Dla każdego bota”
Tryb „Szybkie tworzenie” służy do ustawiania pojedynczych reguł Allow/Disallow dla ścieżek i botów, a „Dla każdego bota” — do ustawienia reguły domyślnej i osobnych ustawień dla crawlerów. Każdy tryb generuje własny plik robots.txt.
Wyszukiwarki i roboty AI
Do wyboru jest 14 crawlerów — od Googlebot i Bingbot po crawlery AI: GPTBot, Google-Extended, CCBot, ClaudeBot i PerplexityBot.
Szablony dla WordPressa
Jednym kliknięciem zablokujesz /wp-admin/ i /cgi-bin/, a zezwolisz na /wp-admin/admin-ajax.php. Kolejnym udostępnisz /wp-content/uploads/. Jeśli ścieżka nie zaczyna się od ukośnika, narzędzie go doda.
Crawl-delay z objaśnieniem
W trybie „Dla każdego bota” wybierasz 1, 5, 10 lub 20 sekund. Google i Yandex ignorują Crawl-delay, ale niektóre inne roboty, takie jak Bing, go uwzględniają.
Wiersz Sitemap
Wpisz pełny adres URL swojej mapy witryny, a narzędzie doda go na końcu pliku robots.txt jako wiersz Sitemap.
Generowane w przeglądarce
Plik robots.txt powstaje na bieżąco w Twojej przeglądarce. Wpisane dane nie są wysyłane na serwer. Skopiuj zawartość lub pobierz ją jako plik robots.txt.
Instrukcja
Jak utworzyć robots.txt za pomocą generatora
Od wyboru trybu po przesłanie pliku: utwórz robots.txt w sześciu krokach.
Krok 1
Wybierz tryb
Wybierz „Szybkie tworzenie”, aby ustawić pojedyncze reguły Allow/Disallow, lub „Dla każdego bota”, aby osobno skonfigurować wyszukiwarki i roboty AI.
Krok 2
Utwórz reguły
W trybie „Szybkie tworzenie” wybierz w każdym wierszu Allow lub Disallow, wpisz ścieżkę, np. /wp-admin/, i wybierz „Wszystkie boty (*)” lub konkretnego bota. Kolejne wiersze oraz szablony dla ważnych plików i obrazów dodasz jednym kliknięciem.
Krok 3
Sterowanie poszczególnymi botami
W trybie „Dla każdego bota” określ, czy wszystkie boty są domyślnie dozwolone, opcjonalnie wybierz Crawl-delay i ustaw poszczególne roboty, takie jak GPTBot, na „Domyślnie”, „Zezwalaj” lub „Blokuj”.
Krok 4
Dodaj mapę witryny
Wpisz pełny adres URL swojej mapy witryny, na przykład https://deine-seite.de/sitemap.xml.
Krok 5
Skopiuj lub pobierz
Sprawdź podgląd i kliknij „Kopiuj” lub „Pobierz”. Pobrany plik ma już nazwę robots.txt.
Krok 6
Prześlij i otwórz
Prześlij plik robots.txt do katalogu głównego swojej domeny i otwórz deine-domain.de/robots.txt w przeglądarce, aby sprawdzić, czy jest dostępny online.
Przykłady
Przykłady plików robots.txt z generatora
Cztery typowe pliki, dokładnie w postaci tworzonej przez generator robots.txt przy opisanych ustawieniach.
Zezwalaj na wszystko
To wynik generatora, dopóki nie dodasz reguły w trybie „Szybkie tworzenie”: wszystkie roboty mogą przeszukiwać całą witrynę.
User-agent: * Allow: /
Blokowanie całej witryny (Disallow all)
Tryb „Dla każdego bota” z domyślnym ustawieniem „Niedozwolone”. Uwaga: wyszukiwarki przestrzegające robots.txt nie będą wtedy przeszukiwać żadnej strony Twojej witryny.
User-agent: * Disallow: /
Blokowanie robotów AI
Tryb „Dla każdego bota” z ustawieniem „Blokuj” dla GPTBot, Google-Extended, CCBot, ClaudeBot i PerplexityBot. Pozostałe boty zachowują ustawienie domyślne i nadal mogą przeszukiwać witrynę.
User-agent: * Allow: / User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: PerplexityBot Disallow: /
WordPress z mapą witryny
Tryb „Szybkie tworzenie” z szablonami dla ważnych plików i obrazów oraz adresem URL mapy witryny.
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /cgi-bin/ Allow: /wp-content/uploads/ Sitemap: https://deine-seite.de/sitemap.xml
Składnia
Co zawiera plik robots.txt
robots.txt to publiczny plik tekstowy w katalogu głównym Twojej domeny. Informuje roboty, które ścieżki mogą przeszukiwać. Generator zapisuje w nim następujące dyrektywy:
| Instrukcja | Znaczenie | W generatorze |
|---|---|---|
| User-agent | Określa, którego robota dotyczą kolejne reguły. * oznacza wszystkie boty. | Dla każdego wybranego bota narzędzie tworzy osobny blok. |
| Disallow | Zabrania przeszukiwania ścieżki. Disallow: / blokuje całą witrynę. | W każdym wierszu reguły w trybie „Szybkie tworzenie” lub jako „Blokuj” w trybie „Dla każdego bota”. |
| Allow | Wyraźnie zezwala na przeszukiwanie ścieżki, na przykład jako wyjątek w zablokowanym obszarze. | W każdym wierszu reguły lub jako „Zezwalaj” w trybie „Dla każdego bota”. Jeśli nie dodasz reguł w trybie „Szybkie tworzenie”, narzędzie zapisze Allow: / dla wszystkich botów. |
| Sitemap | Podaje pełny adres URL Twojej mapy witryny XML. | W obu trybach: przez pole mapy witryny, jako ostatni wiersz pliku. |
| Crawl-delay | Prosi roboty o przerwę między żądaniami. Google ignoruje to ustawienie. | Tylko w trybie „Dla każdego bota”: 1, 5, 10 lub 20 sekund, także w każdym osobno skonfigurowanym bloku bota. |
Tych 14 robotów możesz wybrać w generatorze
W trybie „Dla każdego bota” każdy robot ma własne ustawienie, a w trybie „Szybkie tworzenie” wybierasz go w każdym wierszu reguły. Po prawej stronie widnieje wartość User-agent, którą narzędzie zapisze w pliku robots.txt.
- Google
Googlebot - Google Images
Googlebot-Image - Bing
Bingbot - Yandex
YandexBot - Baidu
Baiduspider - DuckDuckGo
DuckDuckBot - Yahoo
Slurp - Apple
Applebot - Facebook
facebookexternalhit - GPTBot (OpenAI)
GPTBot - Google-Extended (Google AI)
Google-Extended - CCBot (Common Crawl)
CCBot - ClaudeBot (Anthropic)
ClaudeBot - PerplexityBot
PerplexityBot
Odkryj więcej
Więcej narzędzi
Kontrola SSL
Sprawdź na pierwszy rzut oka status, wystawcę, okres ważności i datę wygaśnięcia certyfikatu SSL/TLS.
Autor: Sebastian Rademacher
Redirect Checker
Sprawdź łańcuch przekierowań adresu URL krok po kroku: kody statusu (301/302/307/308), nagłówki HTTP, adres IP serwera i czas odpowiedzi każdego przekierowania.
Autor: Luca Stanek
Generator map witryny
Tworzenie sitemap.xml z listy adresów URL: z wykrywaniem duplikatów, sprawdzaniem domeny, lastmod i automatycznym indeksem map witryny od 50.000 adresów. Działa w przeglądarce.
Autor: Luca Stanek
Kody statusu HTTP
Przeszukiwalna lista popularnych kodów statusu HTTP od 100 do 526: znaczenie kodów 404, 403, 500, 502 i 503, typowe przyczyny i rozwiązania, z przykładami dla nginx i Apache. Działa w całości w przeglądarce.
Autor: Dimitri Heissler
Generator .htaccess i generator htpasswd
Tworzenie plików Apache .htaccess i .htpasswd online: przekierowania 301, HTTPS, ochrona hasłem z bcrypt, reguły WordPress, strony błędów, buforowanie, GZIP i ochrona przed hotlinkowaniem. Działa w całości w przeglądarce.
Autor: Dimitri Heissler
FAQ
Często zadawane pytania o generator robots.txt
Krótkie odpowiedzi o robots.txt i tym narzędziu.
Generator robots.txt tworzy plik robots.txt na podstawie Twoich ustawień, bez ręcznego pisania dyrektyw. Ma dwa tryby: „Szybkie tworzenie” do ustawiania pojedynczych reguł Allow/Disallow dla ścieżek i botów oraz „Dla każdego bota” do ustawiania reguły domyślnej i konfiguracji poszczególnych robotów. Trybów nie można łączyć — każdy tworzy osobny plik robots.txt. Narzędzie jest bezpłatne, nie wymaga logowania i generuje plik w Twojej przeglądarce.
Co najmniej wiersz User-agent wskazujący bota, a pod nim reguły Allow lub Disallow. Disallow zabrania przeszukiwania ścieżki, a Allow wyraźnie na to zezwala — możesz na przykład zablokować /wp-admin/ i zezwolić na /wp-admin/admin-ajax.php. Opcjonalnie możesz dodać wiersz Sitemap z pełnym adresem URL, w tym https://. Jeśli nie dodasz reguły w trybie „Szybkie tworzenie”, generator zapisze User-agent: * i Allow: /.
Do katalogu głównego swojej domeny, a nie do podfolderu — na przykład przez FTP/SFTP lub menedżer plików hostingu. Plik będzie wtedy dostępny pod adresem deine-domain.de/robots.txt. Plik pobrany z generatora ma już nazwę robots.txt.
W trybie „Dla każdego bota” ustaw „Blokuj” dla GPTBot, Google-Extended, CCBot, ClaudeBot lub PerplexityBot. Generator utworzy dla każdego z tych robotów osobny blok User-agent z Disallow: /. Wyszukiwarki, takie jak Google i Bing, możesz pozostawić z ustawieniem domyślnym. Pamiętaj: robots.txt to prośba, której przestrzegają rzetelne roboty, a nie techniczna blokada.
W trybie „Dla każdego bota” wybierz domyślne ustawienie „Niedozwolone” dla wszystkich botów. Powstanie blok User-agent: * z Disallow: /. Wyszukiwarki przestrzegające robots.txt nie będą wtedy przeszukiwać żadnej strony Twojej witryny. Używaj tego świadomie, na przykład w środowisku testowym.
Nie. Google ignoruje Crawl-delay, a od 2018 roku także Yandex. Uwzględniają go tylko niektóre inne roboty, takie jak Bing. W trybie „Dla każdego bota” wybierasz 1, 5, 10 lub 20 sekund. Wartość ta pojawia się w bloku dla wszystkich botów oraz w każdym bloku bota, dla którego osobno ustawisz „Zezwalaj” lub „Blokuj”.
Nie w sposób niezawodny. Plik robots.txt steruje tylko przeszukiwaniem. Zablokowany adres URL może mimo to trafić do indeksu, jeśli prowadzą do niego linki z innych stron. Aby strona nie pojawiała się w wynikach wyszukiwania, użyj metatagu noindex lub zabezpiecz ją hasłem. Ten generator nie tworzy reguł noindex, a plik robots.txt nie chroni prywatnych treści.
Nie. Generator robots.txt tworzy tylko nowe pliki i nie sprawdza plików robots.txt dostępnych już online. Aby zobaczyć opublikowany plik, otwórz deine-domain.de/robots.txt w przeglądarce. Raport robots.txt w Google Search Console pokaże Ci, czy Google może go pobrać.
Masz dodatkowe pytania?
Kontakt z pomocą technicznąSzukasz hostingu dla swojej strony internetowej?
Niezależnie od tego, czy potrzebujesz hostingu dla WordPressa, sklepu czy własnego projektu — ZAP-Hosting oferuje ci szybki, niezawodny hosting WWW z pełnym dostępem SSH.
Bez konfiguracji. Bez ryzyka. Online w kilka sekund.
Szukasz więcej narzędzi? Zobacz wszystkie narzędzia dla programistów
Preferowane źródło w Google
