¿Cómo ver los registros de rastreo de Baidu Spider y dónde verlos? Novatos por favor expliquen en detalle.

Las arañas son programas automatizados de motores de búsqueda. Lo que hace es acceder a páginas html en Internet y crear una base de datos indexada para que los usuarios puedan buscar páginas de su sitio web en los motores de búsqueda.

¿Cuánta presión de acceso traerán las arañas al servidor web?

El spider ajustará automáticamente la densidad de acceso según la capacidad de carga del servidor. Después de un período de acceso continuo, la araña se detendrá durante un período de tiempo para evitar una mayor presión de acceso al servidor. Por lo general, las arañas no ejercerán demasiada presión sobre el servidor de su sitio web.

¿Por qué las arañas siguen rastreando mi sitio web?

Las arañas rastrean constantemente páginas nuevas o actualizadas en su sitio web. Además, también puede consultar el registro de acceso al sitio web para ver si la araña accede a su sitio web normalmente, para evitar que alguien que se hace pasar por una araña rastree su sitio web con frecuencia. Si descubre que las arañas no rastrean su sitio web correctamente, envíe un correo electrónico con sus comentarios al motor de búsqueda e intente proporcionar el registro de la araña que visita su sitio web para que podamos realizar un seguimiento.

No quiero que mi sitio web sea rastreado por arañas, ¿qué debo hacer?

Las arañas siguen el protocolo de los robots de Internet. Puede utilizar un archivo robots.txt para bloquear completamente el acceso de las arañas a su sitio o para impedir que las arañas accedan a ciertos archivos de su sitio. Nota: Deshabilitar el acceso de las arañas a su sitio evitará que los motores de búsqueda y todos los motores de búsqueda que brindan servicios de motores de búsqueda accedan a las páginas de su sitio.

Para obtener más información sobre cómo escribir robots.txt, consulte nuestra introducción: Cómo escribir robots.txt

¿Por qué mi sitio sigue bloqueado incluso después de agregar la búsqueda de robots.txt? ?

Porque el motor de búsqueda necesita tiempo para actualizar la base de datos del índice. Aunque las arañas han dejado de acceder a las páginas de su sitio, las bases de datos de los motores de búsqueda pueden tardar de dos a cuatro semanas en borrar la información creada para indexar las páginas. Además, verifique que sus robots estén configurados correctamente.

¿Cómo se llama la araña en robots.txt?

"araña" está todo en minúsculas.

¿Cuánto tiempo tardan las arañas en volver a rastrear mi página?

El motor de búsqueda se actualiza una vez por semana y la velocidad de actualización de la página varía según su importancia, desde unos pocos días hasta un mes, y la araña volverá a rastrear y actualizar la página.

Sabiendo qué es una araña, ¿cómo saber si una araña ha visitado tu sitio web? Esto se puede ver en los registros del servidor o host virtual. Por ejemplo, el registro de uso completo de www.2iqq.com tiene este registro:

220.181.38.198 - - [11/Nov/2007: 04: 28:29 +0800] "GET / HTTP/1.1" 200 61083 " -" "Baiduspider+(+/search/spider.htm) "Esto significa que la araña ha llegado a mi sitio si aún quieres saber si. Hay otros motores de búsqueda. Las arañas también han llegado a su sitio. Puede buscar la palabra "araña" en el archivo de registro o buscar la IP de la araña. Descubrí que Sogou también ha llegado a mi sitio. son iguales y se pueden encontrar.

Las siguientes son algunas arañas de búsqueda compiladas

1 202.106.186.* 163 Spider

2 202.108.36.* 163 Spider

3 202.108.44.* 163 Araña

4 202.108.45.* 163 Araña

5 202.108.5.* 163 Araña

6 202.108.9 .* 163 Araña

7 220.181.12.* 163 Araña

8 220.181.13.* 163 Araña

9 220.181.14.* 163 Araña

10 220.181.15.* 163 Araña

11 220.181.28.* 163 Araña

12 220.181.31.* 163 Araña

13 222.185.245.* 163 Araña

14 202.165.100.* 3721 Araña

220.181.38.177 Baidu Araña

15 220.181.19.* Baidu Araña

16 159.226.50.* Baidu Araña

17 202.108.11.* Baidu Araña

18 202.108.22.* Baidu Araña

19 202.108.23.* Baidu Spider

20 202.108.249.* Baidu Spider

21 202.108.250.* Baidu Spider

22 61.135 .145.* Baidu Araña

23 61.135.146.* Baidu Araña

24 64.124.85.* convert.com

25 61.151.243.* araña china

26 202.165.96.* gais.cs.ccu.edu.tw

27 216.239.33.* araña de google

28 216.239.35 .* google araña

29 216.239.37.* google araña

30 216.239.39.* google araña

31 216.239.51.216.239.53.* GOOGLE SPID

32 216.239.53.* GOOGLE SPID

33 216.239.55.* GOOGLE SPID

34 216.239.57.* GOOGLE SPID

35 216.239.59.* GOOGLE SPID

36 64.233.161.* google spider

37 64.233.189.* google spider

38 66.102 .11.* google araña

39 66.102.7.* google araña

40 66.102.9.* google araña

41 66.249.64.* google araña

42 66.249.65.* araña de google

43 66.249.66.*

google araña

44 66.249.71.* google araña

45 66.249.72.

45 66.249.72.* google araña

46 72.14.207.* google spider

47 61.135.152.* iask spider

48 65.54.188.* msn spider

49 65.54.225 .* msn araña

50 65.54.226.* msn araña

51 65.54.228.* msn araña

52 65.54.229.* msn araña

53 207.46.98.* msn spider

54 207.68.157.* msn spider

55 194.224.199.* noxtrumbot

56 220.181.8.* Más astuto

57 221.239.209.* Más astuto

58 217.212.224.* psbot

59 219.133.40.* qqspider

60 202.96.p>61 202.104.129.* QQ Spider

62 61.135.157.* QQ Spider

63 219.142.118.* sina Spider

64 219.142.78.* sina Spider

65 61.135.132.

66 220.181.26.* Sohu Spider

220.181. 19.*

67 61.135.158.* Tom Spider

68 66.196.90.* Yahoo Spider

69 66.196.91.* Yahoo Spider

70 68.142.249.* yahoo spider

71 68.142.250.* yahoo spider

72 68.142.251.* yahoo spider

73 202.165.102.* Yahoo China Spider

74 202.160.178.* Yahoo China Spider

75 202.160.179.* Yahoo China Spider

76 202.160 .180.* Yahoo China Spider

77 202.160.181.* Yahoo China Spider

78 202.160.183.* Yahoo China Spider

79 72.30.101 .* araña yahoo

80 72.30.102.* araña yahoo

81 72.30.103.* araña yahoo

82 72.30.104.* araña yahoo

83 72.30.107..* yahoo spider

84 72.30.110.* yahoo spider

85 72.30.111.* yahoo spider

86 72.30.128.

* yahoo spider

87 72.30.129.* yahoo spider

88 72.30.131.

88 72.30.131.* yahoo spider

89 72.30.133.* yahoo spider

90 72.30.134.* yahoo spider

91 72.30.135.* yahoo spider

92 72.30. 216.* yahoo spider

93 72.30.226.* yahoo spider

94 72.30.252.* yahoo spider

95 72.30.97.* yahoo spider

96 72.30.98.* yahoo spider

97 72.30.99.* yahoo spider

98 74.6.74.* yahoo spider

99 202.108.4.* araña zhongsoo

100 202.108.4.* araña zhongsoo

101 202.108.33.* araña zhongsoo

102 202.96. 51.* araña zhongsoo

103 219.142.53.* araña de búsqueda de China