Qué software aprender big data (qué software usar para big data)
Linux: debido a que el software relacionado con big data se ejecuta en Linux, debes aprender Linux sólidamente. Aprender bien Linux le será de gran ayuda para dominar rápidamente las tecnologías relacionadas con big data y le permitirá comprender mejor el entorno operativo y la configuración del entorno de red del software de big data como hadoop, hive, hbase y spark. , lo que le permitirá evitar muchos obstáculos, aprender a comprender los scripts y facilitarle la comprensión y configuración de clústeres de big data.
Hadoop: esta es una popular plataforma de procesamiento de big data que casi se ha convertido en sinónimo de big data, por lo que es imprescindible.
Cuidador del zoológico: Esta es una cura milagrosa. Se utilizará al instalar HA de Hadoop y también se utilizará en Hbase en el futuro.
Mysql: hemos terminado de aprender el procesamiento de big data. A continuación, debemos aprender la base de datos mysql, la herramienta de procesamiento de datos pequeños, porque la usaremos cuando instalemos Hive más adelante. ¿Qué nivel de MySQL necesito dominar? Puede instalarlo en Linux, ejecutarlo, configurar permisos simples, cambiar la contraseña de root y crear una base de datos.
Sqoop: utilizado para importar datos de Mysql a Hadoop.
Hive: esto es un artefacto para personas que entienden la sintaxis SQL. Le permite manejar big data fácilmente.
Oozie: Ahora que has aprendido Hive, estoy seguro de que necesitas esto. Puede ayudarlo a administrar sus scripts de Hive, MapRece o Spark y verificar si su programa se ejecuta correctamente.
Hbase: Es la base de datos NOSQL del ecosistema Hadoop. Sus datos se almacenan en forma de claves y valores. Las claves son únicas, por lo que pueden usarse para copiar los datos. Puede almacenar más datos que MYSQL.
Kafka: Esta es una gran herramienta para hacer colas.
Spark: utilizado para compensar la falta de velocidad de procesamiento de datos basado en MapRece.