Cómo realizar un análisis de registros de sitios web

1. ¿Qué es un registro de sitio web?

1. Un registro de sitio web es un archivo que termina en ·log que registra diversa información original, como el servidor web que recibe y procesa solicitudes y errores de tiempo de ejecución. .

2. A través de los registros del sitio web, puede saber claramente qué página del sitio web visitó el usuario, bajo qué IP, a qué hora, qué sistema operativo, qué navegador y qué dispositivo de resolución, y si el acceso fue exitoso. .

3. Los motores de búsqueda también son un tipo de usuario en el sitio web. Nuestra lección de intercambio de hoy es principalmente analizar los registros dejados por usuarios como los motores de búsqueda en el servidor.

Para comprender fácilmente los registros de los motores de búsqueda, debemos comprender los logotipos de diferentes arañas de motores de búsqueda. Los siguientes son los logotipos de cuatro motores de búsqueda: *Baidu Spider: Baiduspider*Sogou: Sogou News Spider. *360: 360Spider *Google: Googlebot

2. Cómo entender los registros del sitio web

(El siguiente es un registro) www.cafehome.com

58.180 .251.134 - - [ 25/Mar/2015:13:24:33 0800] "GET /m53256.html

HTTP/1.1" 200 12264 "/index-1s2i2p2" "Mozilla/5.0

(Windows NT 6.1) AppleWebKit/537.36 (KHTML, como Gecko)

Chrome/35.0.1916.153 Safari/537.36 SE 2.X MetaSr 1.0" "-" "-" "-"

La siguiente es la interpretación de los campos:

Por lo general, cuando el archivo de registro es grande, es necesario combinar el shell con Python para la extracción y análisis de datos. Por lo tanto, comprender los campos del registro del sitio web resulta beneficioso para el análisis diario. No entraré en detalles aquí. Aquellos que estén interesados ​​en los zapatos para niños pueden seguir aprendiendo más.

Los sitios web grandes normalmente pueden utilizar los métodos anteriores para el análisis de registros.

Los sitios personales comunes o los sitios web corporativos se pueden utilizar junto con la plataforma Baidu Webmaster a través de la herramienta de análisis de registros Lightyear.

3. ¿Por qué es necesario realizar un análisis del registro del sitio web? Primero, comprendamos el proceso de obtención de tráfico SEO: rastreo--gt; clasificación--gt; ; tráfico

Por lo tanto, el requisito previo para obtener tráfico SEO debe ser que los motores de búsqueda rastreen las páginas valiosas.

Por lo tanto, para las operaciones de SEO, es muy necesario analizar los registros del sitio web del motor de búsqueda: *Analizar la presencia de rastreo: Resolver ciertos problemas de indexación. * Anomalías encontradas: evítelas a tiempo. Si hay una gran cantidad de páginas anormales, 404, etc. * Control de rastreo: permite rastrear más contenido de alta calidad y filtra rastreos no válidos.

El objetivo final del análisis de un sitio web: permitir que las páginas más valiosas sean rastreadas, tendrán la oportunidad de ser indexadas y, por tanto, tendrán la oportunidad de obtener tráfico SEO.

4. Cómo realizar un análisis de registros de sitios web

* Supervise periódicamente los cambios en el volumen de rastreo de los motores de búsqueda y solo comparando datos históricos horizontales y verticales se pueden descubrir situaciones anormales. *Utilice plataformas para webmasters de terceros, como Baidu Webmaster Platform, para comprender los cambios en las frecuencias de rastreo de los motores de búsqueda. *Utilice la herramienta de análisis de registros Lightyear para registrar datos periódicamente para comprender los cambios en el volumen de rastreo de columnas y páginas importantes.

Por ejemplo:

Sitio antiguo (un sitio web establecido durante un año y mantenido por alguien): el tráfico SEO fluctúa de manera anormal.

Hay dos situaciones:

Comprender el mundo exterior: el requisito previo para comprender el mundo exterior es que debes tener una determinada base de red, no importa si no la tienes. No tengo uno. Hay dos lugares a donde ir: vaya a la plataforma para webmasters del motor de búsqueda o únase al grupo para webmasters del motor de búsqueda.

Por ejemplo, el motor de búsqueda Baidu tiene una plataforma para webmasters y, en consecuencia, también establecerá un grupo QQ para webmasters. Con las conexiones se puede comprender directamente la situación en el mundo exterior: ¿existen fluctuaciones de magnitud similar? La premisa de esto debe considerarse junto con las operaciones de SEO que haya realizado a corto plazo para evitar errores de juicio. Si no tienes conexiones, únete a grupos o plataformas para webmasters. Por lo general, si se trata de una actualización del algoritmo del motor de búsqueda, aparecerán fragmentos de información relevantes en el grupo o en la plataforma para webmasters. Si la fluctuación del tráfico se debe a la actualización del propio algoritmo del motor de búsqueda, entonces se debe realizar la optimización correspondiente en el sitio basándose en el nuevo algoritmo. Por ejemplo, Baidu Ice Bucket versión 3.0 propone tomar medidas severas contra las búsquedas móviles de Baidu que interrumpen la ruta de búsqueda completa del usuario. Si el sitio tiene la situación anterior, necesita una optimización específica: ya sea que se inicie a través del APPLINK de acoplamiento o la aplicación iniciada de forma independiente por la página web, así como las páginas web normales, debe poder regresarse y cerrarse. Los usuarios verifican la precisión de los resultados de la búsqueda sin necesidad de descargas adicionales de aplicaciones ni permisos.

Analiza el contenido interno:

Antes de analizar el contenido interno, descarta nuevamente esta fórmula: Tráfico SEO = volumen de rastreo * tasa de inclusión (precisamente, debería ser la tasa de índice) * Tasa de página de inicio * Tasa de clics

. Cuando la frecuencia de rastreo es anormal, inevitablemente conducirá a una reducción en el volumen de rastreo. Por lo tanto, después de excluir factores externos, es necesario analizar los registros del sitio web. Si su sitio es un sitio chino y es un usuario VIP de Baidu Webmaster Platform. Luego, primero puede utilizar la herramienta de "frecuencia de rastreo" de la plataforma para webmasters de terceros (como Baidu) para comprender primero la frecuencia de rastreo reciente, el tiempo de rastreo y las páginas anormales del motor de búsqueda. Por lo general, con la ayuda de esta herramienta, podemos tener una comprensión preliminar de la situación reciente de rastreo de los motores de búsqueda y podemos utilizar esta herramienta para encontrar algunas soluciones en consecuencia.

Permítanme explicar este concepto primero para facilitar la comprensión:

1. Frecuencia de rastreo: la frecuencia de rastreo es la cantidad de veces que el motor de búsqueda rastrea el servidor del sitio web en una unidad de tiempo (nivel de día). ) El número total de veces. Si el motor de búsqueda rastrea el sitio con demasiada frecuencia, es probable que cause inestabilidad en el servidor. La araña ajustará automáticamente la frecuencia de rastreo en función de factores como la frecuencia de actualización del contenido del sitio web y la presión del servidor.

2. Tiempo de rastreo: se refiere al tiempo que tarda cada rastreo por parte del motor de búsqueda. Las posibles razones que afectan la frecuencia de rastreo son:

(1) El límite superior de la frecuencia de rastreo está mal ajustado. Si se reduce, afectará directamente la reducción del volumen de rastreo. reducido, el volumen del índice se reducirá en consecuencia.

(2) Nivel operativo: Hay una gran cantidad de páginas duplicadas (Situación 1: Hay una gran cantidad de contenido duplicado en el propio sitio web. Situación 2: El contenido del propio sitio web recoge una gran cantidad cantidad de contenidos que ya existen en Internet). Partiendo del objetivo de los motores de búsqueda: los motores de búsqueda quieren rastrear más y mejores páginas, pero su sitio web produce contenido que inunda Internet, ¿por qué desperdiciar recursos en su sitio web? Además, el contenido del sitio web no se actualiza desde hace mucho tiempo. Se recomienda resolver este problema produciendo regularmente contenido de alta calidad. Un tiempo de rastreo más largo también conducirá a una disminución en la cantidad de rastreos de sitios web. A menudo es posible que un servidor lento provoque que el rastreo demore más. Otra posibilidad es que tenga algo que ver con la estructura del propio sitio web. El nivel es demasiado profundo.

Para resumir:

Cómo realizar un análisis de registros de sitios web en sitios antiguos (para sitios chinos): Exclusión externa:

Comprender si el último algoritmo del motor de búsqueda tiene cambiado, y compañeros ¿Hay cambios similares?

Análisis interno:

(1) Herramientas utilizadas: Baidu Webmaster Platform (consulte la introducción a continuación para cuentas no VIP)

(2) Método de análisis: Utilice principalmente la herramienta de análisis de frecuencia de rastreo para analizar cambios de datos, como la frecuencia de rastreo del sitio web, el tiempo de rastreo y las condiciones anormales de la página. Y comunicarse con los departamentos relevantes para su resolución.

5. Utilice la herramienta de análisis de registros Lightyear

VIP que no sea de Baidu:

Pasos:

1. Para los sitios corporativos, puede pedir ayuda directamente a los niños del departamento de operación y mantenimiento. Si es un webmaster personal, puede descargarlos directamente en el fondo del host virtual que compró. El archivo termina en .log).

2. Abra la herramienta de análisis de registros de Lightyear y cargue los registros del sitio web.

3. Ver los resultados del análisis. Las dimensiones principales son las siguientes:

(1) Análisis general: el volumen total de rastreo, el tiempo total de residencia y el número total de visitas de varios rastreadores.

(2) Análisis de directorios: Análisis de la situación de varios rastreadores que rastrean cada directorio. A través de esto, puede comprender cómo los motores de búsqueda rastrean algunas columnas importantes y qué páginas no válidas rastrean.

(3) Análisis de páginas: a través del análisis de páginas, puede saber qué páginas se rastrean con frecuencia repetidamente y puede realizar ajustes de optimización en consecuencia. Por ejemplo, algunas páginas de registro y de inicio de sesión en sitios web a menudo se rastrean varias veces. Si esto sucede, generalmente bloqueamos la página de inicio de sesión/registro.

(4) El análisis del código de estado se divide principalmente en dos tipos: código de estado del rastreador y código de estado del usuario. Refleja principalmente el estado de la página cuando el usuario/rastreador accede a la página. A través del código de estado de la página, podemos comprender el estado de la página y realizar los ajustes correspondientes, por ejemplo, cuando hay una gran cantidad de páginas 404 en el sitio web. Entonces se necesita más investigación, por ejemplo, en algunas páginas de compras grupales, después de que caduque la compra grupal, la página cambiará directamente a 404, pero la lista de enlaces inactivos no se ha enviado a la plataforma Baidu Webmaster, lo que puede conducir fácilmente a. rastreo no válido.