Cómo rastrear la página actual de Sina Weibo

Los sitios web convencionales como Weibo ahora generalmente usan Ajax para cargar datos, es decir, si envía una URL o solicita parámetros a través de métodos de rastreo tradicionales y recibe la cadena de respuesta, que es el código HTML de respuesta, encontrará que no hay nada. Los datos que desea se deben a que hay algunos scripts js en el código. Cuando el navegador muestra esta página web, estos js se ejecutarán para mostrar los datos que desea ver. Estos js se ejecutarán para mostrar los datos que desea ver. Ajax también se usa para no actualizar la página web cuando la opera, sino que solo carga parte de los datos de la página si encuentra que solo una parte de los datos de la página de un sitio web. cambia cuando lo opera. Si la URL no cambia, es fácil determinar que es ajax. Además, si encuentra que el navegador web muestra que la página se ha cargado, pero todavía hay algunos datos en la página que se está cargando en este momento, esta parte de los datos también pertenece a la carga asincrónica ajax. A su discreción, debe recuperar los datos de una manera que pueda manejar ajax.

Aquí hay dos métodos: 1. Analizar el script ajax, encontrar el script js correspondiente a los datos cargados y luego analizar su lógica. Generalmente, se generará una solicitud http y luego esta solicitud http. generalmente solo devolverá los datos en formato jason. Puede simular esta solicitud mediante código para obtener los datos. Sin embargo, este método es relativamente anticuado y muy problemático. Requiere que estudies la lógica del código js. Será aún más problemático si no escribes código. Por supuesto, existen algunas herramientas de análisis de paquetes de comunicación de red, como Fiddler, que pueden ayudarle.

2. Para utilizar el software de recopilación inteligente más convencional, como Octopus, es necesario admitir navegadores y recopilación visual, de modo que el software simule automáticamente las operaciones humanas para completar todo el trabajo, incluida la ejecución de scripts en la interfaz. Finalmente, los datos que ve en la interfaz no son diferentes de las páginas web que ve en línea, pero este tipo de herramienta puede extraer automáticamente los datos que ve en las páginas web. Los datos se pueden extraer con sólo unos pocos clics del mouse. Este método es adecuado para personas que no entienden el código.

3. Por supuesto, también puedes conectarte a Internet para aprender cómo otros recopilan datos de Weibo. Entonces será mucho más sencillo utilizar los frutos del trabajo de otras personas. Por ejemplo, busqué las reglas de recopilación de datos de Weibo sobre Haodou de acuerdo con su solicitud y aparecieron muchas. La captura de pantalla es la siguiente: Puede ver que hay cuentas de Weibo, temas, comentarios, celebridades, etc., y otros han escrito en detalle cómo usar estas cosas.