Probador de Robots.txt

Prueba tu archivo robots.txt y verifica si tus URLs están permitidas o bloqueadas para los diferentes user-agents.

Resultado

Introduce los datos y haz clic en "Probar" para ver el resultado.

¿Cómo usar esta herramienta?

1. Introduce el robots.txt

Copia y pega el contenido de tu archivo robots.txt o cárgalo desde una URL usando el botón "Cargar desde URL".

2. Especifica la URL

Introduce la URL completa que quieres probar (ejemplo: https://tudominio.com/ruta/pagina.html).

3. Selecciona el User-Agent

Elige el robot que quieres simular (Googlebot, Bingbot, etc.) o usa uno personalizado.

4. Prueba y analiza

Haz clic en "Probar" para ver si la URL está permitida o bloqueada para ese user-agent específico.

💡 Consejos

  • Si hay un grupo para el robot concreto (por ejemplo Googlebot), solo cuenta ese y se ignora el de *
  • User-agent: * aplica a los robots que no tienen grupo propio
  • Los patrones con * coinciden con cualquier secuencia de caracteres y $ marca el final de la URL
  • Disallow: sin valor permite todo
  • Si una URL coincide con Allow y Disallow, gana la regla más larga; si miden lo mismo, gana Allow