Cómo bloquear el rastreo de arañas
Cómo evitar que los rastreadores de los motores de búsqueda rastreen las páginas de un sitio web. A continuación se ofrecen algunas ideas para evitar que los rastreadores de los motores de búsqueda convencionales (arañas) rastreen, indexen o incluyan páginas web. Nota: Todo el sitio web está bloqueado y todos los rastreadores (arañas) de los principales motores de búsqueda están bloqueados tanto como sea posible.
1. Bloqueado por el archivo robots.txt
Se puede decir que el archivo robots.txt es el canal más importante (puede establecer un diálogo directo con el buscador) Se dan las siguientes sugerencias:
p>Agente de usuario: Baiduspider
No permitido: /
Agente de usuario: Googlebot
Agente de usuario: Teléfono Android de Google
No permitido: /
Agente de usuario: Imagen de Google Android
No permitido: /
Agente-usuario: Mediapartners-Google
No permitido: /
Agente-usuario: Adsbot-Google
No permitido: /
Agente de usuario: Feedfetcher- Google
No permitido: /
Agente de usuario: Yahoo! Comer en voz alta
No permitido: /
Agente de usuario: Yahoo! Sip China
No permitido: /
Agente de usuario: Yahoo! -Rastreador publicitario
No permitido: /
Agente de usuario: Youdao robot
No permitido: /
Agente de usuario: Sosospider
No permitido: /
Agente de usuario: Sosospider
p>
No permitido: /
Agente de usuario: Sogou Spider
No permitido: /
Agente de usuario: Sogou Spider
No permitido: /
Agente de usuario: MSNBot
No permitido: /
Agente de usuario: ia_archiver
No permitido: /
Agente de usuario: Tomatobot
No permitido: /
Agente de usuario: *
No permitido: /
2. Bloquear por metaetiquetas
Agregue las siguientes declaraciones a todos los archivos de encabezado de la página web:
amp;ltmetaname=amp;quotrobot"content=amp;quotnoindex, nofollowamp;quotamp. ;gt
3. Establecer a través del archivo de configuración del servidor (como Linux/nginx)
Filtrar directamente el segmento IP de la araña/robot.
¿Cuáles son los métodos para la optimización SEO de imágenes?
La optimización de la imagen requiere el atributo alt
Los tamaños de las imágenes deben estar unificados
Procesamiento de marcas de agua de las imágenes
Se deben cargar imágenes claras
p>
No es necesario optimizar todas las imágenes de su sitio web. Por ejemplo, imágenes utilizadas en plantillas, imágenes en navegación, imágenes de fondo, etc., no necesitamos agregar etiquetas ALT a estas imágenes, podemos colocarlas en una carpeta separada. Y evite que las arañas rastreen estas imágenes configurando la configuración de archivos de robots.