Comprobador de robots.txt
Consulta directivas user-agent, allow, disallow y declaraciones de sitemap.
Revisa el robots.txt del sitio
Cómo usarla
Introduce el dominio; se consultará /robots.txt en su origen.
Cómo interpretar los resultados
Las reglas se aplican según el user-agent y la ruta. robots.txt no es un control de acceso ni garantiza la exclusión del índice.
Problemas comunes
Una respuesta HTML con estado 200 puede ser una página de error, no un robots.txt válido.