Una sola línea en el robots.txt puede estar ocultándole artículos enteros a Google
Esta semana estaba revisando el robots.txt de una empresa de software valenciana cuando me topé con esto: Disallow: /*tag
La intención era clara: bloquear las páginas de etiquetas del blog. El problema es que el asterisco admite cualquier carácter delante, así que Google deja de rastrear cualquier URL que contenga la cadena «tag» en cualquier posición. Y esa secuencia de letras aparece dentro de palabras completamente normales: instagram, vantaggi, avantages, stagione.
Al cruzar el robots.txt con el sitemap, el resultado fue preocupante: 14 artículos bloqueados en 6 idiomas. Los mismos que la empresa tiene incluidos en el sitemap pidiéndole a Google que los indexe.
La regla /*destination generaba exactamente el mismo conflicto con los artículos sobre destinos de ecoturismo. Y el artículo en español sobre cómo promocionar alojamientos en Instagram directamente no aparece en Google, ni siquiera buscándolo con site:.
La solución es sencilla: usar /*/tag/ en lugar de /*tag. Dos barras que marcan la diferencia.
Algunas cosas que conviene tener en cuenta cuando revises un robots.txt:
— No te limites a leer las reglas: crúzalas siempre con el sitemap para ver si hay contradicciones.
— Un comodín sin barras laterales bloquea bastante más de lo que aparenta a simple vista.
— Antes de guardar cualquier cambio, compruébalo con el informe de robots.txt de Search Console.
¿Os ha ocurrido algo parecido con algún comodín mal configurado?
Robots.txt con comodín mal formado bloquea 14 artículos en 6 idiomas en sitio de software
Resumen técnico
El directivo de una empresa de software con sede en Valencia usaba la regla Disallow: /*tag para bloquear páginas de etiquetas del blog. El comodín * sin delimitadores de barra casa con cualquier cadena que contenga tag en cualquier posición de la URL. Al cruzar el robots.txt con el sitemap XML aparecieron 14 artículos bloqueados distribuidos en 6 idiomas. URLs con palabras como instagram, vantaggi, avantages o stagione quedaban fuera del rastreo. La corrección es reemplazar /*tag por /*/tag/ para delimitar el segmento exacto de la ruta.
Análisis de implicaciones
Un comodín sin barras laterales en robots.txt actúa como coincidencia de subcadena sobre la URL completa, no sobre un segmento de ruta. Esto rompe la lógica de quien diseñó la regla y genera un conflicto directo entre el robots.txt y el sitemap XML: Googlebot recibe instrucciones contradictorias sobre las mismas URLs. El resultado es exclusión silenciosa del índice sin alertas visibles en Google Search Console. El artículo sobre Instagram en español no aparecía ni con operador site:, confirmando que el bloqueo era efectivo y no un problema de indexación posterior.
Aplicación práctica
El flujo de auditoría correcto exige tres pasos: primero, parsear el robots.txt y listar todas las reglas con comodines; segundo, cruzarlas contra las URLs del sitemap XML usando un script o herramienta como Screaming Frog con la función robots.txt tester; tercero, validar cada cambio en el informe de robots.txt de Search Console antes de publicar. La regla correcta /*/tag/ bloquea únicamente segmentos de ruta que sean exactamente tag entre barras, evitando colisiones con cadenas que contienen esa secuencia de letras dentro de palabras completas.
Contexto del sector
Los errores de comodín en robots.txt son especialmente críticos en sitios multilingües donde los slugs de URL comparten subcadenas entre idiomas. Con la creciente adopción de plataformas headless CMS y generadores de rutas automáticos, las reglas genéricas de exclusión se vuelven más peligrosas. Google no notifica bloqueos por robots.txt con la misma prominencia que los errores de cobertura, lo que prolonga el tiempo de detección. Auditar robots.txt contra el sitemap debería ser parte de cualquier checklist de SEO técnico recurrente.
