Cómo crear robots.txt y sitemap en 2026: guía práctica

Crear un archivo robots.txt y un sitemap.xml es más fácil de lo que piensas. El robots.txt indica a los buscadores qué partes de tu web pueden rastrear, mientras que el sitemap.xml les dice qué páginas existen y cómo priorizarlas. Ambos son esenciales para un buen SEO.

Ambos archivos deben estar en la raíz de tu sitio, por ejemplo en tudominio.com/robots.txt y tudominio.com/sitemap.xml. Dependiendo de tu nivel técnico, puedes crearlos a mano o usar herramientas que te lo faciliten. Si vienes de cero, empieza por qué es el SEO y cómo funciona. En mi experiencia, un error en el robots.txt es una de las causas más silenciosas de pérdida de tráfico.

Crear el archivo robots.txt paso a paso

Sigue estos pasos para crear un robots.txt correcto:

• Crear el archivo: abre un editor de texto simple (como el Bloc de notas). No uses un procesador de textos como Word, ya que añade caracteres que pueden dar problemas.
• Escribir las reglas: el archivo se compone de grupos de reglas. La estructura básica es:
  • User-agent: indica a qué rastreador (bot) aplica la regla (ej. Googlebot). El asterisco * significa «todos los bots».
  • Disallow: le dice al bot qué no rastrear (ej. /wp-admin/). Una barra / sola bloquea todo.
  • Allow: (opcional) sirve para permitir una subcarpeta dentro de una carpeta bloqueada.
• Incluir el Sitemap: añade al final la ruta completa a tu sitemap: Sitemap: https://tudominio.com/sitemap.xml.

Ejemplo básico:

User-agent: *
Disallow: /wp-admin/
Disallow: /resultados-de-busqueda/

User-agent: Googlebot
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tudominio.com/sitemap.xml

Este ejemplo permite el rastreo general de todo el sitio, pero bloquea las carpetas /wp-admin/ y /resultados-de-busqueda/. Además, le da una instrucción más específica al bot de Google.

• Subir el archivo: guarda el archivo como robots.txt (asegurándote de que no tenga una extensión adicional como .txt) y súbelo a la raíz de tu web, que es donde se encuentra tu index.html o la página principal.

Crear el archivo sitemap.xml paso a paso

El sitemap.xml es una lista de las páginas de tu web que quieres que los buscadores conozcan. Su creación depende de cómo esté hecha tu web:

• Usar un plugin (WordPress): es el método más común. Plugins como Yoast SEO, Rank Math o el propio «Romesoft JSON-LD & Indexing Toolkit» generan tu sitemap.xml de forma automática y lo actualizan al publicar o modificar contenido.
• Herramientas online: puedes usar un generador de sitemaps gratuito, que rastreará tu web y creará el archivo para que lo descargues y lo subas manualmente.
• Crearlo manualmente (solo si tienes pocas páginas): es un proceso propenso a errores, pero puedes escribir un archivo XML con la estructura adecuada si tu web es muy pequeña.

Métodos alternativos para crear estos archivos (sin tocar código)

Si no quieres complicarte, existen varias alternativas que automatizan todo el proceso:

• Plugins de WordPress: son la solución más cómoda para la mayoría de usuarios. Plugins como Rank Math, Yoast SEO o Romesoft JSON-LD & Indexing Toolkit permiten crear y editar tanto el robots.txt como el sitemap.xml directamente desde el panel de administración, sin necesidad de acceder al servidor.
• Generadores online gratuitos: si no usas WordPress, puedes usar herramientas como mis herramientas SEO gratuitas o el SE Ranking Robots.txt Generator, que te ofrecen plantillas prefabricadas para distintos CMS y te guían en la creación.

Errores comunes y buenas prácticas

• El robots.txt NO bloquea la indexación: es una idea muy extendida y falsa. Este archivo solo evita el rastreo, pero Google podría indexar una página bloqueada si encuentra enlaces hacia ella en otros sitios. Para evitar que una página aparezca en los resultados, debes usar una etiqueta noindex en la propia página.
• Ubicación incorrecta: ambos archivos deben estar en la raíz del dominio. Por ejemplo, tudominio.com/robots.txt y tudominio.com/sitemap.xml.
• No bloquees archivos CSS y JavaScript: Google los necesita para renderizar tu página correctamente, lo que puede afectar a tu posicionamiento. Asegúrate de no bloquearlos con tu robots.txt.

Si quieres completar la parte técnica de tu web, mira también cómo funcionan los códigos HTTP 404, 301 y otros errores web que bloquean a Google y cómo comprobar que tu schema funciona. Mi consejo tras auditar más de 40 proyectos: revisa tu robots.txt cada vez que instales un plugin nuevo, porque algunos añaden reglas por defecto que bloquean cosas que no deberían.

Escrito por

Alex Figueiras

Consultor SEO freelance en Valencia · WordPress + Elementor + Rank Math

Ayudo a negocios locales y pymes a posicionar en Google con auditorías técnicas, SEO on-page y contenido que convierte. Más de 40 proyectos auditados y casos medidos en sectores como reformas, formación y ecommerce.

• Sobre mí
• LinkedIn
• Contacto