Cómo determinar a partir del registro del sitio web que Baidu Spider ha visitado

Entonces, ¿cómo juzgamos si Baidu Spider ha visitado? La respuesta se basa en el registro del sitio web. Si Baidu Spider ha estado aquí, habrá registros relevantes en el registro del sitio web. Uno es el nombre de la araña Baidu Baiduspider y el otro es la IP de la araña Baidu. Estos dos puntos deben considerarse de manera integral para hacer un análisis correcto.

1. Primero confirme que el registro registre el nombre de la máquina de acceso del cliente y la IP de acceso.

Si estos dos elementos no se registran, la palabra Baiduspider no se mostrará y no habrá ningún registro de IP de Baidu Spider. Puede preguntarle al proveedor de espacio de su host virtual cómo configurar registros para registrar los rastros de araña y cómo descargar registros le informará en detalle.

2. Descargue el registro del sitio web, abra el archivo en el Bloc de notas, use la búsqueda para encontrar Baidu, escriba y registre, y registre la IP de cada dato.

Debido a que algunos sitios web imitan a las arañas Baidu para visitar su sitio web, sus nombres también son Baiduspider. Por lo tanto, para evitar confusiones, también debemos realizar una verificación inversa basada en la IP para determinar la IP correspondiente. dirección. nombre del servidor. Los siguientes son algunos registros que contienen Baiduspider en el registro:

123.125.71.26 - - [14/Feb/2014:01:03:29 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +/search/spider.html)"

123.125.71.41 - - [14/Feb/2014:07:04:36 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +/search/spider.html)"

220.181.108.117 - - [14/feb/2014:01: 03:49 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +/search/spider.html)"

220.181.108.100 - - [14/feb/2014:07:05:14 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +/search/spider.html)"

117.28.255.53 - - [14/Feb/2014:08:30:11 +0800] "GET / HTTP/1.1" 200 4111 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +/search /spider.html)"

60.172.229.61 - - [14/Feb/2014:09:37:56 +0800] "GET / HTTP/1.1" 200 4123 "-" "Mozilla/5.0 ( compatible; Baiduspider/2.0; +/search/spider.html)"

3. Haga clic en "Inicio" "Ejecutar". Ingrese cmd y haga clic en "Confirmar". Ingrese al modo de línea de comando e ingrese al modo de línea de comando nslookup Presione Enter para ingresar a la operación de verificación inversa. Ingrese la IP de Baidu Spider que registró y presione Entrar para ver si se devuelve información relacionada con Baidu Spider. Si regresa, demuestra que es Baidu Spider; si no, demuestra que es Baidu Spider imitado por otros sitios.