Ayuda para principiantes: al rastrear una página web, se descubre que el código fuente de la página web no se puede rastrear.

¿Ocultar código fuente? No sé a qué te refieres. Tengo entendido que hay dos tipos. Uno es que no se muestra en la sección frontal, pero se muestra al ver el código fuente. El segundo es que el contenido cargado de forma asincrónica está en la parte frontal pero el código fuente no se puede ver. Visto, el primero es fácil de resolver. Debería referirse al segundo tipo. Hay tres soluciones:

Simule el navegador y recopile dinámicamente.

¡Este método se puede utilizar! Siempre que se pueda ver, se puede recopilar, como deslizar el mouse, cargar de forma asincrónica, etc., porque su comportamiento puede ser exactamente el mismo que el del navegador, pero este método es el menos eficiente y generalmente no se recomienda. a menos que realmente no haya otra manera.

Ejecutar código js

Ejecutar la carga asincrónica de código js en Python para obtener funciones como pasar el mouse, desplazarse hacia abajo para cargar más contenido, etc. Sin embargo, ahora hay tantos códigos js en el sitio web que es muy difícil y lleva mucho tiempo encontrar el código js de destino que debe ejecutarse. Además, la compatibilidad entre Python y js no es muy buena y no se recomienda. .

Buscar archivos json cargados de forma asincrónica es el método más utilizado, conveniente y útil. Este es también el método más utilizado cuando suelo rastrear sitios web para carga asincrónica dinámica y puede resolver el 99% de mis problemas. problemas. El método de uso específico es abrir las herramientas de desarrollador del navegador, ingresar a la opción de red, recargar la página web y encontrar el archivo json que debe cargarse de forma asincrónica y dinámica durante el proceso de carga en la lista de redes. como ejemplo, como se muestra en la figura, el primero El primero que se encuentra es un archivo json que carga de forma asincrónica información de inventario. El segundo que se encuentra es un archivo json que carga de forma asincrónica información de revisión:

Para métodos más detallados. , puedes buscar en Google o Baidu