Tutorial de rastreo web (5) Captura de comentarios avanzados de Weibo Haga clic en "Ver más" para rastrear
La velocidad de fermentación de cualquier evento en Weibo es definitivamente la más rápida entre todas las plataformas principales. Si captura los comentarios de Weibo, los procesa y analiza, puede tener una comprensión y comprensión integrales de las diferentes posiciones y tendencias de un determinado evento.
Por supuesto, lleva mucho tiempo rastrear una gran cantidad de comentarios de Weibo. Para acortar el tiempo de operación, encontré un Weibo que Lao Luo no comentó demasiado como demostración.
Nombre del mapa del sitio: weibo
URL de inicio:/1640571365/J0xeHw48Y?from=page_1035051640571365_profileamp; Los cambios de página son muy sutiles y requieren una observación cuidadosa para notarlos, como es el caso de los comentarios de Weibo.
Hay un ligero retraso al arrastrar la barra de desplazamiento hasta que aparece "Más información", lo que indica que parte de la página se está cargando a medida que el usuario se desplaza hacia abajo.
Al extraer datos, si no crea un selector de "desplazamiento hacia abajo" para permitir que la página retrasada se represente por completo, el programa no podrá encontrar "Ver más", lo que generará un gran número de Los datos no se pueden extraer.
Crear un selector de "desplazamiento hacia abajo"
Id: desplazamiento
Tipo: Elemento se desplaza hacia abajo
Seleccionar: haga clic en El elemento cuadrado más externo de la primera y segunda anotaciones
¡Haga clic en Listo!
Seleccione varios
Haga clic en Guardar selector para completar la creación
Cree un selector "Ver más" en el que se pueda hacer clic
ID: más
Tipo: elemento clic
Selector para el selector de clic.
Haz clic en la selección del selector: haz clic en el elemento cuadrado más externo de la primera y segunda anotaciones
¡Haz clic para completar la selección!
Haga clic en el selector: Haga clic en "ver más" y observe que al hacer clic en él, el cuadro de diálogo muestra "a.WB_cardmore".
¡Haz clic para completar tu selección!
Tipo de clic: haga clic para obtener más, lo que significa que debe seguir haciendo clic en "Ver más"
Unicidad del elemento de clic: selector CSS único
Múltiple marcado
Haga clic para guardar la búsqueda de "WB_cardmore". p>
Haga clic en Guardar selector para completar la creación
Haga clic en más selectores que acaba de crear para crear un selector que recogerá los comentarios debajo de este selector
ID: comentario
Tipo: texto
Selección: Haz clic en el comentario en el elemento cuadrado amarillo
¡Haz clic para completar la selección! ¡Completa tu selección!
Haga clic en Guardar selector para completar la creación
Mantenga el intervalo de solicitud y el retraso de carga de la página en los valores predeterminados