Código fuente del proyecto del rastreador Python
Actualmente estoy aprendiendo el marco Scrapy de Python.
Simplemente instalar el framework Scrapy puede ser un poco problemático. ...
Cree un proyecto usando Scrapy y edite el archivo a continuación.
Configurar el archivo items.py
#?-*-?Codificación:? utf-8? -*-
#?Definición? ¿Aquí? ¿eso? ¿modelo? ¿para qué? ¿su? ¿Rayado? Proyecto
#
# ¿Lo viste? ¿documento? En:
#?/s/ref=sr_pg_ '
u2? =?? RH = n 3A 2016116051 2Cn 3A! 2016117051 2Cn 3a 888465051 2Cn 3a 106200071 amp; página = '
u3? =? ampie = UTF8 ampqid=1408641827 '
¿Para qué? ¿I? ¿existir? Rango(181):
¿URL? =?u1? ?cadena(i 1)? ?u2? ?cadena(i 1)? ?u3
start_urls.append(url)
def? parse(self, respuesta):
sel? =?Selector(respuesta)
¿Sitio web? =?sel. =?[]
¿Para qué? ¿Sitio? ¿existir? Sitio web:
¿Artículo? =?PadItem()
item['sno']? =?sitio.xpath('@nombre '). Extract()[0]
Pruebe:
¿Artículo['precio']? =?sitio .XPath('ul/Li/div/a/span/text()'). Extract()[0]
#? El indicador es anormal, lo que indica que es un producto nuevo.
¿Excepto? Error de índice:
¿Artículo['precio']? =?site.xpath('ul/li/a/span/text()'). Extract()[0]
items.append(item)
¿Regresión? Elemento, el selector XPath se utiliza para seleccionar etiquetas html.
Luego, en settings.py
#?-*-?Encoding:? utf-8? -*-
#?Scrapy? ¿configuración? ¿para qué? ¿Amazonas? ¿Proyecto
#
#?¿Para qué? simple,? ¿este? ¿documento? ¿Incluir? ¿solo? ¿eso? ¿mayoría? ¿Es importante? ¿configuración? Aprobado
#?Predeterminado.
? ¿todo? ¿eso? ¿otro? ¿configuración? ¿Sí? ¿Constado? Aquí:
#
#?/s/ref=sr_pg_2? RH = n 3A 2016116051 2Cn 3A! 2016117051 2Cn 3a 888465051 2Cn 3a 106200071 página = 2 ampie = UTF8 ampqid = 1408641827 gt;? (Referencia:? Ninguna)
2014-08-22?03:18:13 0800?[pad]? depurar:? ¿gatear? (200)? /s/ref=sr_pg_6? RH = n 3A 2016116051 2Cn 3A! 2016117051 2Cn 3a 888465051 2Cn 3a 106200071 amp;página=6 ampie=UTF8 ampqid=1408641827 gt;? (Referencia:? Ninguna)
2014-08-22?03:18:13 0800?[pad]? depurar:? ¿Rayado? ¿De donde? lt200?/s/ref=sr_pg_2? RH = n 3A 2016116051 2Cn 3A! 2016117051 2Cn 3a 888465051 2Cn 3a 106200071 amp; página = 2 ampie = UTF8 ampqid = 1408641827 gt;
{ 'Precio':? Y tú. \uffe53399.00 ',? sno ':u'B00DH9UZCO'}
2014-08-22?03:18:13 0800?[pad]? depurar:? ¿Rayado? ¿De donde? lt200?/s/ref=sr_pg_2? RH = n 3A 2016116051 2Cn 3A! 2016117051 2Cn 3a 888465051 2Cn 3a 106200071 amp; página = 2 ampie = UTF8 ampqid = 1408641827 gt;
{ 'Precio':? Y tú.
\uffe54299.00 ',? sno ':u'B00IMXIB9E'}
2014-08-22?03:18:13 0800?[pad]? depurar:? ¿Rayado? ¿De donde? lt200?/s/ref=sr_pg_2? RH = n 3A 2016116051 2Cn 3A! 2016117051 2Cn 3a 888465051 2Cn 3a 106200071 amp; página = 2 ampie = UTF8 ampqid = 1408641827 gt; Los resultados son los siguientes
lt? ¿xml? versión="1.0 "? codificación = "utf-8"? gt
ltitems gt
ltitem gt
ltsno gtb 00 jw cij 78 lt;/SnO gt;
lt precio gt￥3199.00 lt;/precio gt;
lt/item gt;
litem gt
ltsno gtB00E907DKM lt/SnO gt;
ltprecio gt ￥3079.00 lt;/precio gt;
lt/artículo gt;
litem gt
ltsno gtb 00 l8 r 7 hka lt;/SnO gt; /p>
ltPrice gt￥3679.00 lt;/price gt;
lt/item gt;
litem gt
ltsno gtb 00 iz 8 w4 f 8 lt;/SnO gt;
ltPrecio gt￥3399.00 lt;/precio gt;
lt/artículo gt;
litem gt
ltsno gtb 00 jmw 4 bu lt;/SnO gt;
ltpricegt￥4399.00 lt;/price gt;
lt/item gt;
p>
litem gt
ltsno gtb 00 HV 7 kami lt;/SnO gt;
ltprice gt￥3799.00 lt;/price gt;
lt/artículo gt；
ltitem gt
ltsno gtb00m 2g 1nf 6 lt;/SnO gt;
lt precio gt￥5949.00 lt;/precio gt ;
lt/item gt;
litem gt
ltsno gtb 00 l8 H9 qyk lt;/SnO gt;
lt precio gt ￥1899.00 lt;/precio gt;
lt/item gt;
litem gt
ltsno gtb 00 le 7 wz 74 lt;/SnO gt; /p>
ltPrecio gt￥8800.00 lt;/precio gt;
lt/artículo gt
;
litem gt
ltsno gtb 00 lo 5 c 0m 6 lt;/SnO gt;
ltprice gt￥7799.00 lt;/price gt;
lt/item gt;
ltitem gt
ltsno gtb 00 ly 38 u 0 o lt;/SnO gt;
lt precio gt ￥7649.00 lt;/precio gt;
lt/item gt;
litem gt
ltsno gtb 00 lo 5 C3 jg lt;/SnO gt; /p>
ltPrice gt￥6996.00 lt;/price gt;
lt/item gt;
litem gt
ltsno gtb 00 l8 r 6 fa 8 lt;/SnO gt;
ltPrecio gt￥2099.00 lt;/precio gt;
lt/item gt;
litem gt
ltsno gtb 00 lo 5 bmne lt;/SnO gt;
ltpricegt￥6398.00 lt;/price gt;
lt/item gt;
p>
litem gt
ltsno gtb 00 l0 yq 914 lt;/SnO gt;
ltprice gt￥7751.00 lt;/price gt;
lt/item gt;
...
lt/items gt;