Cómo escribir un programa anti-rastreador en Python Crawler
UA es UserAgent, que es la marca de identidad del navegador solicitante. El mecanismo anti-rastreadores identifica los rastreadores sin UA juzgando el encabezado de la solicitud de acceso. Este método de juicio es de muy bajo nivel y generalmente no se utiliza como único criterio de juicio. El anti-crawler es muy simple y puede ser un número aleatorio de UA.
2. Determinar a través de Cookie: La cookie es la verificación de inicio de sesión de la cuenta y la contraseña del miembro.
La cookie es la verificación de inicio de sesión de la cuenta y la contraseña del miembro. Frecuencia de rastreo de la cuenta en un corto período de tiempo. Este método anti-rastreo también es muy difícil y requiere varias cuentas para rastrearlo.
3. Juicio por frecuencia de acceso
Los rastreadores suelen visitar el sitio web de destino varias veces en un corto período de tiempo. El mecanismo anti-rastreador puede determinar si se trata de un rastreador en función de la frecuencia de acceso. frecuencia de acceso de una única IP. Es difícil lidiar con estos anti-rastreadores y solo se pueden resolver cambiando la IP.
4. Juicio mediante código de verificación
El código de verificación es una forma rentable de implementar programas anti-rastreadores. Los anti-rastreadores generalmente necesitan acceder a la plataforma de reconocimiento de códigos de verificación OCR, usar el reconocimiento TesseractOCR o usar entrenamiento de redes neuronales para identificar códigos de verificación.
5. Carga dinámica de páginas
Los sitios web que utilizan carga dinámica generalmente son para que los usuarios puedan hacer clic y ver. El rastreador no puede interactuar con la página, lo que aumenta en gran medida la dificultad de la página. el rastreador.
Generalmente, cuando los usuarios rastrean información de un sitio web, serán restringidos por "rastreadores", lo que impedirá que los usuarios obtengan información.