¿Qué bibliotecas se deben instalar para el rastreador de Python?
1.requests
La biblioteca de solicitudes es una biblioteca de terceros, que es mejor que la biblioteca urllib propia de Python y
2.selenium
Úselo para realizar operaciones de navegador y operaciones de simulación.
3.chromedriver
Instala chromedriver para controlar el navegador Chrome.
4.aiohttp
Aaiohttp es una biblioteca de solicitudes asincrónicas que puede mejorar la eficiencia de la obtención de datos.
2. Biblioteca de análisis
1.lxml
lxml es una biblioteca de análisis de Python que admite análisis HTML y XML, análisis XPath y análisis muy eficiente.
2. beautifulsoup4
Beautiful Soup se puede utilizar para extraer datos de documentos HTML más fácilmente.
3. pyquery
Pyquery es una biblioteca de análisis de red que utiliza una sintaxis similar a jquery para analizar documentos HTML.
3. Repositorio
1.Mysql
2.Mongodb
3.Redis
4. marco de rastreo scrapy
Scrapy es un marco de procesamiento asincrónico, un marco de rastreo implementado en Python puro, utilizado para rastrear contenido web y varias imágenes
Primero debes instalar scrapy.
Necesita instalar las dependencias básicas de la biblioteca scrapy, como lxml, pyOpenSSL, Twisted