¿Cómo hacer que las páginas web sean rastreadas por rastreadores?

Una vez creado el sitio web, ciertamente esperamos que los motores de búsqueda indexen la página web tanto como sea posible, pero a veces habrá situaciones en las que los motores de búsqueda no necesitan indexar el sitio web.

Por ejemplo, si habilitamos un nuevo nombre de dominio como sitio web espejo, que se utiliza principalmente para la promoción de PPC, debemos encontrar una manera de evitar que las arañas de los motores de búsqueda rastreen e indexen todas las páginas de nuestro sitio web espejo. . Porque si el sitio web espejo también se incluye en el motor de búsqueda, es probable que afecte el peso del sitio web oficial en el motor de búsqueda.

Las siguientes son varias ideas para impedir que los rastreadores (arañas) de los principales motores de búsqueda rastreen, indexen o incluyan páginas web. Nota: Este es un bloqueo para todo el sitio y bloquea todos los rastreadores (arañas) de los principales motores de búsqueda tanto como sea posible.

1. Bloquear a través del archivo robots.txt

Se puede decir que el archivo robots.txt es el canal más importante (para establecer un diálogo directo con los buscadores). se dan las siguientes sugerencias:

Agente de usuario: Baiduspider

No permitir:

Agente de usuario: Googlebot

No permitir: /

Agente de usuario: Googlebot-Mobile

No permitir:/

Agente de usuario: Googlebot-Image

No permitir:/

Agente de usuario:Mediapartners-Google

No permitir:/

Agente de usuario:Adsbot-Google

No permitir:/