Comprobador de robots.txt
Carga el robots.txt de cualquier sitio y valida cada regla: páginas bloqueadas, directivas en conflicto, referencias a sitemap rotas y errores de presupuesto de rastreo.
Cómo funciona
Leemos el archivo, analizamos las reglas y las traducimos a lenguaje claro.
Introduce un dominio o URL
Pega cualquier web para cargar su robots.txt automáticamente.
Se validan las reglas
Cada directiva se comprueba contra el Protocolo de exclusión de robots.
Revisa los hallazgos
Mira páginas bloqueadas, conflictos y referencias a sitemap en lenguaje claro.
Qué comprobamos
Cada directiva que decide qué puede rastrear Google y qué no.
Validación de reglas
Comprueba la sintaxis de User-agent, Disallow, Allow y Sitemap.
Detección de páginas bloqueadas
Muestra qué páginas de tu web se ocultan a los buscadores.
Conflictos de directivas
Marca reglas Allow y Disallow contradictorias que producen comportamientos inesperados.
Comprobación de referencia a sitemap
Verifica que la directiva Sitemap apunte a un XML válido y existente.
Información del presupuesto de rastreo
Explica cómo tus reglas dirigen (o desperdician) el presupuesto de rastreo de Google.
Salida en lenguaje claro
Traduce la sintaxis de robots.txt a lo que significa realmente para tu web.
Quién usa el comprobador de robots.txt
Propietarios de webs que necesitan saber que nada importante está bloqueado.
Preguntas frecuentes
¿El robots.txt bloquea tus páginas?
Una mala regla puede ocultar tu mejor contenido a Google. Verifica tu archivo en segundos.
Comprobar robots.txt ahora