Sitemap y robots.txt: el mapa y las normas de tu web para Google

Google encuentra las páginas siguiendo enlaces, como quien va de puerta en puerta. Funciona, pero es lento y a veces se deja alguna. Para ponérselo fácil hay dos archivos pequeños que toda web debería tener: el sitemap y el robots.txt.

El sitemap: la lista de tus páginas

Es un archivo, normalmente en `tuweb.com/sitemap.xml`, con la lista de todas las páginas que quieres que Google conozca. De cada una dice:

• La dirección exacta.
• Cuándo se cambió por última vez, para que Google sepa qué volver a mirar.
• Si la web está en varios idiomas, cuál es la versión en cada idioma.

No hace falta que lo entiendas ni que lo abras nunca. Lo importante es que exista, que esté al día y que Google sepa dónde está.

Por qué ayuda

• Web nueva: Google no tiene enlaces desde otras webs para llegar a ti. El sitemap le da la lista completa desde el primer día.
• Páginas escondidas: una página de servicio a la que solo se llega desde un menú desplegable puede tardar en descubrirse.
• Cambios: cuando añades o cambias páginas, el sitemap lo refleja y Google se entera antes.

Ojo: estar en el sitemap no obliga a Google a enseñar una página. Es una invitación, no una orden.

El robots.txt: las normas de la casa

Es un archivo de texto en `tuweb.com/robots.txt` que dice a los buscadores qué partes de la web pueden visitar y cuáles no. Suele ser muy corto: permite todo lo público, cierra lo privado (como un panel de administración) y dice dónde está el sitemap.

Cualquiera puede verlo: escribe tu dominio seguido de `/robots.txt` en el navegador.

Errores en el sitemap y el robots.txt que dejan una web fuera de Google

• Un robots.txt que lo bloquea todo. Pasa más de lo que parece: la web se hizo con un «no indexar» mientras estaba en pruebas y nadie lo quitó al publicarla. La web funciona, pero Google tiene prohibido entrar.
• Un sitemap con páginas que ya no existen, o con direcciones de prueba, o sin las páginas nuevas.
• Un sitemap que nadie ha enviado. Google acaba encontrándolo, pero tarda más.
• Bloquear archivos que Google necesita para ver bien la página, como los estilos.

Si tu web no aparece en Google, esto es de lo primero que hay que mirar. Tienes más causas en por qué mi web no sale en Google.

Cómo se le dice a Google y a Bing

El sitemap se envía desde Google Search Console y desde Bing Webmaster Tools. Bing importa más de lo que parece: es de donde sacan buena parte de sus resultados ChatGPT y Copilot. Lo explico en Bing e IndexNow.

Cómo dejo hechos el sitemap y el robots.txt

En las webs de Nueva Página los dos archivos salen hechos y se actualizan solos al añadir páginas. Al publicar, doy de alta la web en Google Search Console y en Bing y les envío el sitemap. Va incluido en el SEO básico de todos los planes.

Cómo comprobar tu sitemap y tu robots.txt

Puedes hacerlo tú en dos minutos. Escribe en el navegador tu dominio seguido de `/robots.txt` y comprueba que no pone «Disallow: /» a secas, porque eso bloquea toda la web. Además, mira que al final indique dónde está el sitemap. Después, abre tu dominio seguido de `/sitemap.xml` y revisa que aparecen tus páginas importantes, con su dirección completa.

Si algo no cuadra, Search Console te lo dirá también en el apartado de sitemaps. Google explica cómo debe ser cada uno en sus guías sobre sitemaps y sobre el archivo robots.txt. Y si tu web sigue sin aparecer, repasa por qué mi web no sale en Google. Un sitemap y un robots.txt bien hechos no se notan; uno mal hecho, sí.

Preguntas frecuentes

¿Tengo que hacer algo cuando añado una página?

Si el sitemap se genera solo, no. Si lo mantienes a mano, añádela y vuelve a enviarlo.

¿Puedo esconder una página de Google con el robots.txt?

No es la mejor forma: bloquea la visita, pero la página puede salir igualmente si otros la enlazan. Para que no salga se usa una etiqueta «noindex» en la propia página.

¿Una web de una sola página necesita sitemap?

Sí, aunque sea corto. Cuesta lo mismo y ayuda a que Google la encuentre antes.

¿Mi web llevará sitemap y robots.txt?

Sí. En Nueva Página el sitemap y el robots.txt salen hechos, se actualizan solos y se envían a Google y a Bing al publicar. Lo tienes en cómo trabajo.