El archivo robots.txt es una de las primeras cosas que reviso en cualquier proyecto. Una sola línea mal puesta puede sacar del índice de Google secciones enteras de tu sitio… y nadie lo nota hasta que el tráfico desaparece. Aquí tienes cómo configurarlo bien.
No es un archivo complicado, pero se presta a errores porque se suele escribir "a ciegas". Esta guía te da la sintaxis, los errores más comunes y cómo verificar en minutos que no estás bloqueando nada que deberías indexar.
1. Qué es exactamente el archivo robots.txt
Es un archivo de texto plano que vive en la raíz de tu dominio (https://tusitio.com/robots.txt) y le indica a los rastreadores, como Googlebot, a qué URLs no deberían entrar. Fíjate en el matiz: es una recomendación de rastreo, no una forma de ocultar contenido ni de proteger información sensible.
Si necesitas que algo no aparezca en resultados, el bloqueo correcto no es robots.txt sino una etiqueta noindex en la propia página.
2. Sintaxis y directivas básicas
El archivo se organiza por bloques de usuario y, dentro de cada uno, por reglas de permiso o bloqueo:
- User-agent: a qué rastreador aplican las reglas. Con
*aplican a todos. - Disallow: rutas que no quieres que se rastreen.
- Allow: excepciones dentro de una ruta bloqueada (muy útil en WordPress).
- Sitemap: la ruta de tu sitemap XML, que acelera el descubrimiento de URLs.
3. Cómo comprobar que no bloqueas nada importante
El error más caro que veo es bloquear una carpeta entera "por limpieza" y dejar fuera categorías o páginas de servicio. Por eso, antes de publicar cambios, conviene hacer una auditoría SEO técnica que compare lo bloqueado en robots.txt con lo que realmente está indexado.
En una auditoría SEO completa uso la inspección de URL de Search Console con pruebas controladas: escribo una URL clave de cada tipo y verifico si el rastreo está permitido, en lugar de fiarme de la vista rápida del archivo.
Prueba una URL representativa de cada tipo de página
Elige una entrada del blog, una categoría, una ficha de producto y una página de servicio. Si todas se rastrean, el archivo hace su trabajo. Si alguna queda bloqueada, tienes un problema de indexación, no de contenido.
4. Errores comunes que sí cuestan tráfico
- Bloquear
/entero "temporalmente" y olvidar revertirlo. - Usar comodines mal posicionados que atrapan más de lo previsto.
- Bloquear CSS y JavaScript: Google necesita renderizar la página para evaluarla.
- Subir a producción el robots.txt de un entorno de pruebas.
5. robots.txt no reemplaza al sitemap
Son piezas complementarias: robots.txt indica qué no rastrear y el sitemap.xml propone qué sí conviene rastrear. Cuando el sitemap envía URLs que el rastreo tiene bloqueadas, Google lo reporta en Search Console como errores de cobertura.
Ese otro lado del diagnóstico lo desarrollo en la guía sobre cómo analizar caídas de tráfico en Search Console.
- robots.txt accesible en la raíz del dominio
- Sin bloquear CSS, JS ni imágenes necesarias
- Ruta del sitemap declarada
- URLs clave verificadas como rastreables
- Sin reglas de entornos de prueba en producción
6. Qué hacer si encuentras un bloqueo
Recuerda que un bloqueo mal puesto no solo frena la indexación: puede tirar por la borda meses de posicionamiento SEO. Por eso conviene tratarlo como parte de la estrategia, no como un parche técnico.
Corrige la regla, vuelve a publicar el archivo y fuerza la recrawl de las URLs afectadas desde Search Console. En sitios con muchas URLs esto merece un plan priorizado por impacto, no arreglos sueltos. Si prefieres delegarlo, puedes solicitar una auditoría SEO y te devuelvo el diagnóstico ya ordenado.
Y si tu duda real es con quién ejecutarlo, revisa cómo elegir un consultor SEO en Medellín sin equivocarte.