Los principiantes miran el código fuente

¿Ocultar el código fuente? Quiero saber a qué te refieres. Tengo dos entendimientos. Primero, no lo que muestra el párrafo anterior, sino mirar el código fuente de vez en cuando. En segundo lugar, el contenido cargado de forma asíncrona es invisible en el front-end y en el código fuente. El primero es fácil de solucionar, debes referirte al segundo. Hay tres soluciones:

Simular navegador, acceso dinámico, puede utilizar la herramienta Killer Selenium.

Utilizando este método se puede capturar todo lo que se puede ver, como deslizamiento del mouse, carga asincrónica, etc. , porque su comportamiento puede ser exactamente el mismo que el de un navegador, pero este método es el menos eficiente y generalmente no se recomienda a menos que sea absolutamente necesario.

Ejecutar código js

Ejecutar carga asincrónica de código js en Python para deslizar el mouse, cargar menús desplegables y otras cosas. Sin embargo, hay una gran cantidad de códigos js en los sitios web actuales, y es muy difícil y requiere mucho tiempo encontrar el código js de destino que se ejecutará. Además, la compatibilidad entre python y js no es muy buena, por lo que no se recomienda su uso.

Buscar archivos json cargados de forma asincrónica es el mejor método, el más conveniente y el más utilizado. Este es el método más utilizado cuando rastreo sitios web de carga asincrónica dinámica y puede resolver el 99% de mis problemas. El método de uso específico es abrir las herramientas de desarrollo del navegador, ingresar a las opciones de red, luego recargar la página web y encontrar el archivo json que debe cargarse de forma asincrónica y dinámica en la lista de la red. Tome JD.COM como ejemplo, como se muestra en la figura, el primero encuentra el archivo json de información de inventario cargada de forma asincrónica y el segundo encuentra el archivo json de información de revisión cargada de forma asincrónica:

Para obtener más información Métodos detallados, puede buscar en Google o Baidu.