Redacción: 4SYSTEMPublicado el Actualizado el
9 lectura mínima
La elección entre robots.txt y noindex depende de su objetivo: proteger datos, excluir una página de los resultados o limitar la exploración. Estas acciones no son intercambiables. Para una confirmación pública que no debería aparecer en Google, use noindex dejando la página accesible para el robot. Para un documento confidencial, solicite autenticación.
El arbitraje se realiza URL por URL y luego se verifica en función de la respuesta realmente entregada. Una opción marcada en su herramienta no constituye, por sí sola, prueba.
Robots.txt controla el rastreo, noindex controla la indexación después de leer la instrucción y la autenticación protege el acceso. Comience por determinar qué desea prevenir y luego verifique que el mecanismo elegido logre ese objetivo.
- Tres objetivos para no mezclar
- Árbol de decisión: robots.txt o noindex?
- Tres familias de URL en un sitio ficticio
- Coloque la instrucción en la respuesta realmente entregada
- Control de límites por host, puerto y carpeta
- Modificar reglas sin impedir su lectura
- Crear prueba de validación utilizable
- Preguntas frecuentes
- Conclusión: decida una URL real
Tres objetivos para no mezclar
El rastreo es la exploración de una URL por parte de un robot. La indexación se refiere a su presencia en el índice del motor. Robots.txt le dice a los robots qué URL pueden rastrear; se utiliza principalmente para gestionar esta exploración, no para garantizar la desaparición de una página de los resultados.[19]
Una URL cuyo rastreo está prohibido aún puede aparecer en Google si los enlaces permiten que se descubra. Entonces su contenido no fue necesariamente consultado. Por lo tanto, reemplazar un noindex con un bloque robots.txt cambia el objetivo y puede dejar visible la dirección que desea excluir.[19]
La confidencialidad está bajo otro control: el acceso al contenido. Las instrucciones robots.txt no imponen su comportamiento a todos los robots; Google recomienda la protección con contraseña para archivos privados.[19] Un noindex no reemplaza esta protección. A su juicio, comience con la sensibilidad de los datos y luego considere su utilidad en la investigación. Una página ausente en Google sigue siendo potencialmente consultable por cualquiera que conozca su dirección.
Árbol de decisión: robots.txt o noindex?
La siguiente cuadrícula es un método de trabajo para transformar un objetivo comercial en una decisión técnica. Revíselo en ese orden, sin comenzar con la configuración disponible en su CMS.
- ¿El contenido contiene datos privados? En caso afirmativo, aplique la autenticación y autorización del lado del servidor. La prueba esperada es la denegación de acceso al contenido sin sesión autorizada, incluso por su dirección directa.
- ¿Debería faltar la página pública en los resultados? En caso afirmativo, elija noindex. Mantenga su contenido accesible al robot para que pueda leer las instrucciones. La prueba combina la regla recibida y la exclusión observada, no solo una configuración registrada en CMS.
- ¿La página pública merece estar presente en las búsquedas? En caso afirmativo, no agregue ningún índice ni prohíba el rastreo dirigido. Sobre todo, compruebe que ninguna regla heredada de la plantilla de página contradiga esta decisión.
- ¿Su único objetivo es reducir las exploraciones innecesarias? Considere robots.txt en el alcance identificado, solo si una posible presencia de la URL en los resultados es aceptable. No lo utilice para bloquear una URL cuya exclusión se basa en noindex: Google debe poder continuar leyendo la declaración.[20]
Para cada sucursal, anote quién tomó la decisión. El desarrollador debe saber si solicita protección de acceso, exclusión de resultados o restricción de exploración: los criterios de validación difieren.
Tres familias de URL en un sitio ficticio
A continuación se muestra un ejemplo completamente ficticio, sin referencia a un cliente de 4SYSTEM. El sitio incluye un espacio autentificado, una confirmación pública genérica y un archivo editorial. Las decisiones se cumplen; no describen los controles realmente realizados.
| URL ilustrativa | Necesidad empresarial | Decisión | Prueba esperada |
|---|---|---|---|
https://atelier-exemple.test/compte/documents/ | Documentos de reserva para titular de cuenta | Autenticación y control de derechos | No se puede acceder a ningún documento sin una sesión autorizada |
https://atelier-exemple.test/confirmation/ | Mostrar un mensaje público irrelevante en los resultados | Noindex, exploración permitida | Instrucción recibida y luego exclusión observada |
https://atelier-exemple.test/archives/guide-entretien/ | Manteniendo una guía antigua que aún es útil | Sin exclusión voluntaria | Contenido accesible y ausencia involuntaria de noindex |
La confirmación aquí no contiene ningún dato de identidad ni de pedido. Si contuviera alguno, la decisión se inclinaría hacia la protección del acceso, independientemente de su interés SEO.
Para el archivo, la antigüedad no constituye nuestro criterio de exclusión. Releer el contenido, comprobar su utilidad e identificar variaciones sin valor propio. Una reflexión sobre estas variantes no justifica bloquear todo el expediente /archives/. Mantenga la decisión página por página antes de considerar una regla colectiva.
Coloque la instrucción en la respuesta realmente entregada
Google acepta noindex en una metaetiqueta o en un encabezado HTTP. Ambos métodos tienen el mismo efecto; la elección depende en particular del formato del contenido. Sin embargo, Google no admite la escritura de una declaración noindex en robots.txt.[20]
Para una página pública HTML, colóquela en su elemento <head> :
<meta name="robots" content="noindex">
Verifique el HTML recibido en la URL afectada. Comprueba que la etiqueta pertenece a la página final y no a una plantilla no utilizada. Si su CMS aplica automáticamente esta configuración a una categoría completa, examine también una página que debería permanecer indexable para evitar el desbordamiento.
Para excluir un PDF público, utilice un encabezado de respuesta:
X-Robots-Tag: noindex
Un encabezado puede contener esta instrucción en recursos que no sean HTML, incluidos los archivos PDF.[20] En nuestro ejemplo, un documento genérico disponible en /documents/confirmation-generique.pdf puede recibir este encabezado. Un documento personal debe permanecer protegido mediante autenticación.
Pruebe la descarga directa del PDF y observe los encabezados de su respuesta. No tome como prueba del archivo la presencia de una etiqueta en la página que ofrece la descarga: su control debe referirse al recurso que debe excluirse.
Control de límites por host, puerto y carpeta
El alcance del control debe ser una dirección completa, no el nombre comercial del sitio. Tenga en cuenta el protocolo, el nombre del host, el puerto cuando sea explícito y luego la ruta. Tratar por separado https://atelier-exemple.test/, https://documents.atelier-exemple.test/ y https://atelier-exemple.test:8443/ en su archivo. Una validación realizada en la primera dirección no constituye prueba para las demás.
Para cada uno, nuestro procedimiento consiste en recuperar la respuesta servida a /robots.txt, luego compare las restricciones presentes en la URL de destino. Conservar la dirección solicitada y la respuesta recibida. Tenga en cuenta cualquier redireccionamiento para no asignar una respuesta recuperada en otro lugar al servicio original.
La subcarpeta /archives/ debe registrarse como ruta. No haga de un archivo que se encuentre en esta carpeta su única prueba de validación. Revisa las restricciones que puedan afectar a sus páginas desde el punto de control identificado para el servicio.
Luego pruebe una URL de destino y una URL vecina que debe permanecer accesible. Este control fronterizo permite identificar una restricción demasiado amplia antes de extenderla a otras páginas.
Modificar reglas sin impedir su lectura
El orden de las operaciones es decisivo cuando una página que ya es pública debe recibir noindex. Google debe poder rastrear la página o el recurso para descubrir la etiqueta o el encabezado. Si robots.txt bloquea este acceso, la instrucción no se leerá.[20]
Proceda de la siguiente manera:
- Tenga en cuenta la URL exacta, su propósito, su respuesta actual y cualquier restricción de rastreo existente.
- Implemente noindex en la respuesta afectada y luego verifique su presencia real.
- Si robots.txt impide su lectura, elimine la restricción correspondiente y controle el acceso nuevamente.
- Utilice la inspección de URL para comprobar lo que recibe Google y solicite un nuevo rastreo cuando corresponda.[20]
- Siga el estado de indexación antes de considerar la exclusión como se indica.
Mantenga la URL rastreable siempre que dependa de noindex para excluirla de los resultados. No programar un bloque posterior en robots.txt: incluso si Google ya haya leído la instrucción, este bloque impediría que la vuelva a leer.[20]
El regreso del robot de Google puede retrasarse después de una modificación.[20] Distinguir el despliegue técnico de la consideración por parte del motor. Si el contenido es confidencial, no permita que esta expectativa determine su seguridad: proteja el acceso de inmediato.
Crear prueba de validación utilizable
Una hoja de validación debe permitir que otra persona comprenda la decisión y reproduzca el control. Para cada URL, mantenga estos elementos:
- Contexto : dirección completa, tipo de contenido, carácter público o privado, objeto comercial.
- Estado inicial : respuesta observada, instrucción presente, restricción de exploración identificada.
- Cambiar : Configuración modificada, ubicación afectada y responsable de la implementación.
- Inspección técnica : HTML o encabezados recibidos, intente sin autenticación si es necesario, se probó la URL vecina.
- Seguimiento Google : fecha de control, observación de inspección y estado de indexación anotados.
Para la confirmación ficticia, el formulario espera una respuesta pública sin índice, luego se observa una posible exploración y una exclusión. Para el espacio privado, espera principalmente pruebas de que el contenido no se publica sin autorización. Para el archivo busca exclusiones involuntarias.
Google recomienda la inspección de URL para examinar el HTML recibido por el robot de Google; El informe de indexación también le permite realizar un seguimiento de las páginas en las que no se ha detectado ningún índice.[20] No confunda estas observaciones con su propia prueba de respuesta.
Si falta una página que debía permanecer visible, continúe con la diagnóstico de una página no indexada : la ausencia de resultados no es suficiente para acreditar la exclusión voluntaria.
Preguntas frecuentes
¿Qué hacer si su CMS no le permite editar el HTML?
Comience con la configuración de visibilidad que ofrece su CMS: Google indica que algunas herramientas exponen este tipo de opción.[20] Luego verifique la respuesta realmente entregada, en lugar de solo la redacción de la configuración. Si ninguna de las opciones es adecuada, haga que la persona responsable del servidor investigue la posibilidad de un encabezado HTTP. Mantenga la URL rastreable.
¿Deberíamos poner noindex en la página de inicio de sesión?
La página de inicio de sesión es un punto de entrada público, no el contenido de la cuenta. Decida por separado si tiene alguna utilidad en la investigación. Puede elegir noindex para esta página manteniendo privada la autenticación de pantalla. Sobre todo, pruebe el acceso directo a estas pantallas: ocultar el formulario en Google no demuestra ninguna protección de datos.
¿Cómo evitar copiar exclusiones de una preproducción?
Proporcionar monitoreo separado para cada entorno. Una preproducción que contenga datos privados debe permanecer protegida mediante autenticación; ningún índice no es suficiente. Antes de copiar su configuración al sitio público, enumere las configuraciones de exclusión involucradas y pruebe las páginas que desea indexar. Conserve las pruebas después de la implementación, porque una decisión correcta en la preproducción no valida la producción.
Conclusión: decida una URL real
Ahora elija una URL confidencial o mal configurada. Ingrese su objetivo, explore el árbol de decisión y recupere su respuesta antes de cualquier modificación. Luego valide el mecanismo elegido con una prueba adecuada, sin confundir la configuración y teniendo en cuenta por Google.
Si se trata de varias plantillas de página o servicios técnicos, puede solicitar el servicios web y SEO de 4SYSTEM para enmarcar controles y responsabilidades.
