Cómo ejecutar scapy shell en Python
Puedes usar el siguiente comando para habilitar shell
[python] ver copia simple
scrapy shell lt
Usando el shell
El shell Scrapy puede considerarse como un programa de consola de Python con muchas funciones útiles. incorporado.
Funciones
shelp(): genera una lista de objetos y funciones disponibles
fetch(request_or_url): recupera una solicitud de una URL determinada o de una solicitud existente objeto Genera un objeto de respuesta y actualiza los objetos relacionados existentes
vista(respuesta): abre el objeto de respuesta original (en otras palabras, el objeto de respuesta)
Objeto Scrapy
Cuando una página determinada se descarga usando el shell Scrapy, genera una cantidad de objetos disponibles, como objetos de respuesta y objetos selectores (para HTML y XML).
Estos objetos disponibles son los siguientes:
rastreador: el objeto rastreador actual
araña
solicitud: el objeto de solicitud de la última página recuperada
respuesta: el objeto de respuesta que contiene el última página obtenida
p>sel - Objeto selector para la última página de descarga
configuración - Configuración actual de Scrapy
Ejemplo de shell de Scrapy
Usando mi blog personal como prueba: ",
"gt; (referer: Ninguno)
2014-02-20 17:48:31-0400 [myspider] DEPURACIÓN: Rastreado ( 200) lt; GET http://example.orggt; (referencia: Ninguno)
[s] Objetos Scrapy disponibles:
[s] Objeto Crawler ... gt;gt;gt; respuesta.url 'http://example.org' Nota: Cuando el shell Scrapy ocupa el motor Scrapy, la función de recuperación en el shell Scrapy no está disponible. Sin embargo, cuando salgas del shell Scrapy, la araña continuará donde lo dejó .