Generador de robots.txt: crea una robots.txt gratis

Un generador de robots.txt crea la robots.txt a partir de tu configuración, sin que tengas que escribir la sintaxis a mano. Este tiene dos modos: «Creación rápida», para definir reglas Allow y Disallow individuales por ruta y bot, y «Por bot», para establecer una regla predeterminada y configurar cada rastreador. Los modos no se combinan: cada uno genera su propia robots.txt. La herramienta es gratuita, no requiere registro y genera el archivo en tu navegador.

Como mínimo, una línea User-agent para el bot y, debajo, reglas Allow o Disallow: Disallow prohíbe una ruta y Allow la permite expresamente. Por ejemplo, puedes bloquear /wp-admin/ y permitir /wp-admin/admin-ajax.php. Opcionalmente, puedes añadir una línea de sitemap con la URL completa, incluido https://. Si no introduces ninguna regla en «Creación rápida», el generador produce User-agent: * y Allow: /.

Al directorio raíz de tu dominio, no a una subcarpeta, por ejemplo, mediante FTP/SFTP o el gestor de archivos de tu hosting. Después podrás acceder a ella en tu-dominio.es/robots.txt. El archivo descargado del generador ya se llama robots.txt.

En el modo «Por bot», configura GPTBot, Google-Extended, CCBot, ClaudeBot o PerplexityBot en «Bloquear». El generador escribe un bloque User-agent independiente con Disallow: / para cada uno. Puedes mantener los buscadores como Google y Bing en el valor predeterminado. Ten en cuenta que la robots.txt es una petición que respetan los rastreadores legítimos, no un bloqueo técnico.

En «Por bot», elige «No permitido» como valor predeterminado para todos los bots. Esto genera User-agent: * con Disallow: /. Así, los buscadores que respeten la robots.txt dejarán de rastrear todas las páginas de tu sitio web. Úsalo solo de forma deliberada, por ejemplo, en un entorno de pruebas.

No. Google ignora Crawl-delay, y Yandex también desde 2018. Solo algunos otros rastreadores, como Bing, lo tienen en cuenta. En el modo «Por bot», puedes elegir 1, 5, 10 o 20 segundos. El valor aparece en el bloque de todos los bots y también en cada bloque que hayas configurado individualmente como Permitir o Bloquear.

No de forma fiable. La robots.txt solo controla el rastreo. Una URL bloqueada puede aparecer en el índice si otras páginas enlazan a ella. Para evitar que una página aparezca en los resultados de búsqueda, utiliza una metaetiqueta noindex o protégela con contraseña. Este generador no crea reglas noindex, y la robots.txt no sirve para proteger contenido privado.

No. El generador de robots.txt solo crea archivos nuevos; no comprueba archivos robots.txt que ya estén publicados. Para ver uno, abre tu-dominio.es/robots.txt en el navegador. El informe de robots.txt de Google Search Console te indica si Google puede acceder al archivo.