Pausar y reiniciar Scrapy

Al rastrear sitios grandes o encontrarnos con circunstancias especiales, a menudo es necesario aprobar el rastreador y continuar rastreando desde donde lo dejó, en lugar de comenzar desde cero cada vez que algo sale mal.

La configuración de pausa y reinicio de Scrapy es muy simple:

1. Cree un directorio de trabajo

2. Utilice el siguiente comando para iniciar el rastreador

En el comando anterior:

somespider: el nombre del rastreador que se ha iniciado

rastrea/somespider-1: el directorio de trabajo que creó + el número de serie del rastreador

La documentación oficial menciona Este último somespider-1 se usa para distinguir diferentes rastreadores:

3. Pausar el rastreador

A través de los dos pasos anteriores, el rastreador será capaz de ejecutarse en un estado de pausa. Cuando sea necesario pausarlo, simplemente envíe el comando de pausa en la ventana de ejecución:

ctrl + c

Consejos:

4. Reinicie después de la pausa

Simplemente escriba el mismo comando que cuando lo inició:

El rastreador continuará ejecutándose en el mismo punto donde se pausó por última vez.

Fin.