Principios para big data
Operación y mantenimiento de la plataforma de big data: la construcción y mantenimiento de la plataforma de big data. Habilidades correspondientes: algunas habilidades en operación y mantenimiento, así como hadoop, hive, etc.
Desarrollo de datos: implica principalmente extracción, conversión y limpieza de datos, es decir, ETL: habilidades correspondientes: sql, hive, hadoop, shell, python (también se aceptan otros lenguajes de programación), almacén de datos la teoría; entre ellos, la teoría del almacén de datos es particularmente importante. Requiere mucha práctica y aprendizaje para construir un buen modelo de almacén de datos. De lo contrario, los datos serán un desastre y será difícil encontrar los datos que desea. También habrá situaciones como esta: estarás agotado todos los días, operando y ejecutando datos de acuerdo con las diferentes necesidades. Por supuesto, si desea profundizar más, puede aprender sobre el desarrollo de datos fuera de línea y datos en tiempo real (almacén de datos fuera de línea, almacén de datos en tiempo casi real).
Desarrollo de plataformas de datos: principalmente diseña y desarrolla plataformas de big data para facilitar el desarrollo y la automatización de datos. Habilidades correspondientes: java, scala, sql, algunas plataformas de desarrollo de big data (MR, Spark, Hbase, etc.).
Análisis de datos: principalmente ejecutar datos y realizar informes sobre big data. Habilidades correspondientes: sql, excel, tableau, python, R, etc. Muchas chicas que conozco se dedican al puesto de análisis de datos, porque los requisitos para este puesto pueden ser un poco más bajos o más fáciles de comenzar. Pero no es fácil hacerlo bien. Si desea realizar informes de datos automatizados, puede considerarlo.
Algoritmo: principalmente la aplicación y desarrollo de modelos algorítmicos. Habilidades correspondientes: algoritmos básicos, sql, python, teoría matemática. Por supuesto, muchos kits de herramientas y plataformas de desarrollo ahora proporcionan muchos algoritmos, incluidos Python, Spark, etc., por lo que cuando dominamos los principios del algoritmo, debemos llamarlo según la situación y el escenario. Únase al grupo de intercambio y aprendizaje de tecnología de big data: Número 522, Número 189, Número 307 y envíe un mensaje privado al administrador para recibir herramientas de desarrollo y materiales de aprendizaje introductorios gratuitos.