Guía · Inspeccia
Bloquear en robots.txt: qué hace de verdad (y qué no)
Casi todo el mundo usa el robots.txt para algo que el robots.txt no hace. La escena se repite: alguien quiere que una página desaparezca de Google, escribe un Disallow, se queda tranquilo, y semanas después la URL sigue ahí. No es un fallo ni un retraso de Google. Es que bloquear el rastreo y borrar del índice son dos operaciones distintas, con dos herramientas distintas, y confundirlas produce los dos errores más caros del SEO técnico.
La respuesta corta. Disallow controla el rastreo: le dice al robot a qué direcciones no puede entrar. No controla el índice: no borra nada, y una URL bloqueada puede seguir apareciendo en los resultados —eso sí, sin descripción—.
Si lo que quieres es que una página no aparezca en Google, la herramienta es noindex (o una contraseña, o eliminarla). Y para que el noindex funcione tienes que dejar que el robot entre a leerlo: si la bloqueas, nunca recibe la orden.
Rastrear no es indexar
Son dos fases separadas del mismo proceso, y toda la confusión nace de tratarlas como una sola. Rastrear es que un robot descargue la página. Indexar es que el buscador decida guardarla y mostrarla como resultado. El robots.txt vive entero en la primera fase.
La documentación de Google lo formula sin ambigüedad: un archivo robots.txt le dice a los rastreadores a qué URLs pueden acceder en tu sitio. Y a continuación aclara lo que casi nadie lee: no es un mecanismo para mantener una página fuera de Google. Para eso, dice, bloquea la indexación con noindex o protege la página con contraseña.
De ahí se desprende todo lo demás. Google puede saber que una URL existe sin haberla visitado nunca —le basta con que alguien la enlace desde otro sitio— y puede decidir mostrarla. Como no pudo entrar, no tiene con qué armar el fragmento. Por eso Google avisa que si tu página está bloqueada con un robots.txt, su URL todavía puede aparecer en los resultados, solo que sin descripción. Ese resultado pelado, sin texto debajo, es la firma inconfundible de esta confusión.
Error nº 1: bloqueas para ocultar, y queda a la vista
Es el caso de la página de "gracias" tras un formulario, el panel interno, el entorno de pruebas, el PDF con la lista de precios. Alguien decide que eso no debería salir en Google, lo mete en el robots.txt y da el tema por cerrado.
El resultado es peor que no haber hecho nada. La URL puede seguir listada, y ahora encima Google no puede leerla para entender de qué va, así que muestra la dirección desnuda. Y hay un efecto secundario que se nota poco: la propia URL a veces cuenta más de lo que quieres. Direcciones del tipo /clientes/acme-contrato-renovacion filtran información en el nombre aunque el contenido jamás se haya rastreado.
Google lo dice como advertencia directa: no uses un archivo robots.txt como forma de esconder tus páginas de los resultados de búsqueda. Si algo tiene que estar realmente fuera del alcance del público, la respuesta no es un archivo de texto que cualquiera puede leer escribiendo /robots.txt en la barra de direcciones —conviene recordar que el robots.txt es público—: es autenticación de verdad.
Error nº 2: pones noindex y lo bloqueas a la vez
Este es más sutil, y por eso sobrevive durante años en sitios por lo demás bien llevados. Alguien hace lo correcto y añade la etiqueta noindex a las páginas que quiere sacar del índice. Después, para reforzar, añade también un Disallow en el robots.txt. Suena a cinturón y tirantes. Es, en realidad, cancelar la orden.
El noindex no vive en el robots.txt: vive dentro de la página, como etiqueta en el <head> o como cabecera X-Robots-Tag en la respuesta del servidor. Para obedecerla, el robot tiene que entrar y leerla. Google lo documenta literalmente: si la página está bloqueada por un archivo robots.txt o el rastreador no puede acceder a ella, el rastreador nunca verá la regla noindex, y la página aún puede aparecer en los resultados.
La secuencia correcta, entonces, tiene un orden que no se puede alterar:
- Quita el bloqueo del robots.txt para esa ruta.
- Deja el
noindexen la página, por etiqueta o por cabecera. - Espera a que Google vuelva a rastrear y aplique la orden. Cuando Googlebot rastrea la página y extrae la etiqueta o la cabecera, la página cae de los resultados aunque otros sitios la enlacen.
- Recién entonces, si tienes un motivo de presupuesto de rastreo, puedes plantearte volver a bloquearla. Casi nunca hace falta.
Qué herramienta usar según lo que quieras
La forma rápida de no equivocarse es dejar de preguntarse "¿cómo bloqueo esto?" y empezar por "¿qué quiero exactamente que pase?".
- Quiero que no aparezca en Google.
noindex, por etiqueta meta o por cabeceraX-Robots-Tag. La cabecera es la vía para lo que no es HTML: PDFs, imágenes, vídeos. - Quiero que nadie no autorizado lo vea. Contraseña o autenticación. Ni robots.txt ni
noindexprotegen nada: son indicaciones para robots que se portan bien. - Quiero que deje de existir. Eliminar la página y devolver 404 o 410.
- Quiero que los robots no gasten tiempo en zonas inútiles. Aquí sí, robots.txt. Es su trabajo real: filtros de búsqueda interna que generan URLs infinitas, calendarios, versiones de impresión, parámetros que duplican contenido.
- Quiero que un rastreador concreto no entre. Robots.txt con su user-agent. Es la conversación de los bots de IA, y tiene sus propios matices.
Cómo lee Google tu archivo (las reglas que sorprenden)
Cuatro detalles de la especificación que explican la mayoría de los "pero si yo lo tenía bien puesto".
Solo se aplica un grupo, no todos
Los rastreadores de Google determinan el grupo de reglas correcto buscando el grupo con el user-agent más específico que coincida con el suyo. Y aplican ese, únicamente. Si tienes un bloque para * y otro para Googlebot, Googlebot obedece el suyo y ignora por completo el genérico, incluso las reglas que solo estaban en el genérico. Es la causa número uno de reglas que "no se aplican".
Gana la regla más larga, no la primera
Al comparar reglas con una URL, los rastreadores usan la más específica según la longitud de la ruta. En caso de reglas en conflicto, Google usa la menos restrictiva. Por eso este archivo permite el blog aunque bloquee todo lo que cuelga de esa carpeta:
User-agent: *
Disallow: /recursos/
Allow: /recursos/blog/La lógica no es de arriba abajo como en un cortafuegos. Es de precisión: el Allow es más largo, así que manda sobre el Disallow para las URLs del blog.
Un archivo por origen
Las reglas se aplican solo al host, protocolo y puerto donde está alojado el robots.txt. Tu subdominio de blog o de documentación necesita el suyo propio; el del dominio principal no lo cubre. Y tiene que estar en la raíz de ese origen.
Hay un tamaño máximo y una caché
Google impone un límite de 500 kibibytes: el contenido que va después del tamaño máximo se ignora. Poco frecuente, pero letal cuando pasa, porque falla en silencio. Y el archivo se guarda en caché generalmente hasta 24 horas, aunque puede conservarse más tiempo si no se logra refrescar la versión almacenada: un cambio no surte efecto al instante.
La comprobación de dos minutos. Abre tudominio.com/robots.txt en el navegador y léelo entero. Busca tres cosas: un Disallow: / suelto que nadie recuerda haber puesto, rutas que en realidad querías que se indexaran, y páginas con noindex que además figuren bloqueadas. Ese último cruce es el que más veces encontramos.
El caso aparte: los bots de IA
Todo lo anterior aplica igual a los rastreadores de IA, porque son rastreadores y leen el mismo archivo con las mismas reglas. Lo que cambia es la decisión, y ahí conviene no generalizar.
Los bots de IA no hacen todos lo mismo. Unos recogen material para entrenar modelos; otros salen a buscar en vivo cuando alguien pregunta algo, y son los que deciden si te pueden citar en una respuesta. Bloquear los primeros es una postura defendible sobre tus contenidos. Bloquear los segundos te borra de la búsqueda con IA, que casi nunca es lo que la persona quería cuando escribió la regla. Es un bisturí, no un martillo, y lo desarrollamos entero —bot por bot, con la documentación de cada proveedor— en bloquear bots de IA en robots.txt.
Conviene añadir una cosa más, porque enlaza con lo de arriba. En las funciones con IA de Google no hay marcado especial que activar: la documentación oficial dice que no necesitas crear archivos legibles por máquina nuevos, archivos de texto para IA ni marcado, y que para poder salir como enlace de apoyo una página tiene que estar indexada y ser elegible para mostrarse con un fragmento. Traducido: si te bloqueas a ti mismo por error, no hay ningún ajuste de IA que lo compense. La higiene del robots.txt es la optimización.
Preguntas frecuentes
¿Bloquear una página en robots.txt la borra de Google?
No. Es el malentendido más extendido y también el más caro. El robots.txt le dice al rastreador a qué URLs puede acceder, y nada más: no es un mecanismo para sacar una página del índice. La propia documentación de Google lo dice sin rodeos: si tu página está bloqueada con un robots.txt, su URL todavía puede aparecer en los resultados de búsqueda, solo que el resultado no tendrá descripción. Si lo que quieres es que desaparezca, la herramienta es otra: noindex, protección con contraseña o eliminar la página.
¿Por qué mi página bloqueada sigue apareciendo en Google?
Porque bloquear el rastreo no impide indexar la URL. Google puede enterarse de que esa dirección existe por otra vía —típicamente un enlace desde otro sitio— y decidir mostrarla aunque nunca haya podido leer su contenido. Como no pudo entrar, no tiene material para el fragmento, así que la muestra pelada: el título o la URL, sin descripción. Verla ahí no es un fallo del robots.txt; es exactamente lo que el robots.txt hace.
¿Puedo poner noindex y bloquear la página en robots.txt a la vez?
Puedes, pero es contraproducente, y es el segundo error clásico. El noindex vive dentro de la página, en una etiqueta meta o en una cabecera de respuesta. Para obedecerlo, el rastreador tiene que entrar y leerlo. Si además lo bloqueas en el robots.txt, le estás cerrando la puerta al mismo robot que venía a recibir la orden de borrado. Google lo documenta tal cual: si la página está bloqueada por un archivo robots.txt o el rastreador no puede acceder a ella, el rastreador nunca verá la regla noindex, y la página aún puede aparecer en los resultados. Si quieres sacarla del índice: primero permite el rastreo, deja que Google lea el noindex, y recién cuando haya desaparecido puedes plantearte bloquearla.
Entonces, ¿para qué sirve el robots.txt?
Para gestionar el tráfico de rastreo, que es un problema real en sitios grandes. Sirve para que los robots no se pierdan en zonas que no aportan nada —filtros de búsqueda interna que generan URLs infinitas, carritos, calendarios, versiones de impresión— y dediquen su tiempo a lo que sí quieres que se rastree. También sirve para decidir qué rastreadores concretos pueden entrar, que es donde entra la conversación sobre los bots de IA. Lo que no es, insistimos, es un botón de privacidad ni de borrado.
¿Cómo elige Google qué reglas de mi robots.txt aplicar?
Con dos criterios encadenados. Primero busca el grupo cuyo user-agent coincide de forma más específica con el rastreador que llega, y aplica ese grupo y solo ese: no acumula las reglas de varios grupos. Después, dentro de ese grupo, para cada URL usa la regla más específica según la longitud de la ruta, y si dos reglas de longitud igual entran en conflicto, se queda con la menos restrictiva. En la práctica esto significa que un Allow largo y preciso puede abrir una excepción dentro de un Disallow más corto y general, que es como se construyen la mayoría de las configuraciones útiles.
¿Un robots.txt cubre todo mi dominio?
No necesariamente, y aquí se cuelan errores silenciosos. Las reglas se aplican solo al host, protocolo y puerto donde vive ese archivo. El robots.txt de https://www.ejemplo.com no gobierna a https://blog.ejemplo.com, ni a la versión sin www si resuelve como host distinto. Cada origen necesita el suyo, servido en la raíz. Otro detalle con consecuencias: Google impone un límite de 500 kibibytes, y todo lo que venga después del tamaño máximo se ignora.
¿Cuánto tarda Google en ver un cambio en mi robots.txt?
Normalmente hasta un día. Google documenta que suele guardar en caché el contenido del archivo hasta 24 horas, aunque puede conservarlo más tiempo cuando no logra refrescar la versión almacenada. Esto tiene una consecuencia práctica que conviene tener presente: si te equivocas y bloqueas medio sitio, corregir el archivo no revierte el efecto al instante, y si el error fue grave la recuperación posterior tomará bastante más que ese día.
¿Y con los bots de IA aplica lo mismo?
La mecánica es idéntica —son rastreadores y leen el mismo archivo—, pero la decisión de fondo es distinta y merece su propio análisis, porque los bots de IA no hacen todos lo mismo. Unos recogen material para entrenar modelos y otros buscan en vivo para poder citarte en una respuesta; bloquear los segundos te deja invisible en la búsqueda con IA, que casi nunca es lo que la gente quería. Lo desarrollamos en la guía dedicada a bloquear bots de IA en robots.txt.
Fuentes citadas
- Google Search Central — "Introduction to robots.txt" (el robots.txt indica a qué URLs puede acceder el rastreador; no es un mecanismo para mantener una página fuera de Google; una URL bloqueada puede seguir apareciendo sin descripción; no lo uses para esconder páginas). Documentación oficial.
- Google Search Central — "How Google interprets the robots.txt specification" (alcance por host, protocolo y puerto; límite de 500 KiB; grupo de user-agent más específico; regla más larga y, en conflicto, la menos restrictiva; caché de hasta 24 horas). Especificación.
- Google Search Central — "Block Search indexing with noindex" (si la página está bloqueada por robots.txt el rastreador nunca verá la regla
noindex; implementación por etiqueta meta o cabeceraX-Robots-Tag). Documentación oficial. - Google Search Central — "AI features and your website" (no hacen falta archivos ni marcado especiales; para aparecer como enlace de apoyo hay que estar indexado y ser elegible para un fragmento). Documentación oficial.
¿Te estás bloqueando sin saberlo?
En cada análisis revisamos tu robots.txt y tus directivas de indexación junto con lo que la IA responde sobre tu negocio. Es la forma rápida de descubrir si el problema no era la estrategia, sino una línea de texto puesta hace tres años.