Robots.txt, sitemap y noindex: qué resuelve cada uno
Evita confundir control de rastreo, descubrimiento de URLs e indexación.
WebSonda · Actualizado el 4 de octubre de 2026
Tres mecanismos, tres preguntas
Robots.txt comunica instrucciones de rastreo a los robots que respetan el protocolo. Un sitemap enumera URLs que quieres ayudar a descubrir. Una directiva noindex solicita que una página no se incluya en un índice compatible. Ninguno sustituye a un control de acceso: para proteger información privada necesitas autenticación y permisos reales.
Una página bloqueada no es una página eliminada
Una regla Disallow puede impedir que un rastreador descargue el contenido de una ruta. Eso también puede impedirle leer una directiva noindex situada en ese contenido. Si tu objetivo es retirar una página del índice, revisa la documentación del buscador y permite que vea la directiva apropiada cuando corresponda. No uses robots.txt para ocultar contraseñas, carpetas privadas o documentos sensibles.
Qué te dice la comprobación de robots.txt
WebSonda muestra los grupos de user-agent, sus reglas y las declaraciones de sitemap encontradas. Es una lectura del archivo; no simula todas las decisiones de cada buscador. Una regla vacía, varios grupos o una ruta escrita de forma inesperada merecen revisión. Para comprobar qué hará un agente concreto con una URL, contrasta la interpretación con las herramientas de ese buscador.
Un sitemap válido no garantiza indexación
El archivo puede estar bien formado y listar páginas que redirigen, responden con error o contienen noindex. La comprobación del XML no visita todas esas páginas. Elige una muestra representativa y revisa sus estados y metadatos por separado. En un índice de sitemaps, WebSonda presenta las referencias sin descargar recursivamente cada archivo enlazado.
Un orden práctico para revisar tu web
Primero comprueba que la URL importante responde como esperas. Después revisa sus metadatos y encabezados, las reglas de rastreo aplicables y su presencia en el sitemap. Por último, consulta el estado observado por el buscador en su propia herramienta para propietarios. Así distingues un problema de descubrimiento de uno de acceso o de exclusión, sin atribuir todo a un único archivo.
Documentación de referencia
Google: excluir páginas mediante noindex
Google: alcance de los sitemaps
Consulta nuestra metodología y límites para interpretar el alcance de cada resultado.