¿Cómo evitar que los rastreadores accedan repetidamente a las URL cuando rastrean información?

Hay muchas maneras de hacer esto. Si persiste en la base de datos, puede determinar si la URL existe en la base de datos o puede almacenar la URL en la memoria para juzgarla.

Es mejor registrar la solicitud en la base de datos, porque si el programa se interrumpe de manera anormal y la cantidad de datos rastreados es grande, debe continuar rastreando nuevamente; de ​​lo contrario, rastrear nuevamente consumirá tiempo y energía.

Si la respuesta no es lo suficientemente detallada, puedes comunicarte mediante mensaje privado. Si es necesario, te proporcionaremos un servicio de mensajería privada pago.