¿Cómo evitar que los rastreadores indexen el sitio web?
Por ejemplo, si desea habilitar un nuevo nombre de dominio para un sitio espejo que se utiliza principalmente para la promoción de PPC, entonces necesita encontrar una manera de evitar que las arañas de los motores de búsqueda rastreen e indexen todas las páginas de nuestro sitio espejo. Porque si el sitio web espejo también se incluye en el motor de búsqueda, es probable que afecte el peso del sitio web oficial en el motor de búsqueda.
Las siguientes son varias ideas para impedir que los rastreadores (arañas) de los principales motores de búsqueda rastreen, indexen o incluyan páginas web. Nota: Este es un bloqueo para todo el sitio y bloquea todos los rastreadores (arañas) de los principales motores de búsqueda tanto como sea posible.
1. Bloquear a través del archivo robots.txt
Se puede decir que el archivo robots.txt es el canal más importante (para establecer un diálogo directo con los buscadores). se dan las siguientes sugerencias:
Agente de usuario: Baiduspider
No permitir:
Agente de usuario: Googlebot
No permitir: / p>
Agente de usuario: Googlebot-Mobile
No permitir: /
Agente de usuario: Googlebot-Image
No permitir: /
Agente de usuario:Mediapartners-Google
No permitir:/
Agente de usuario:Adsbot-Google
No permitir:/