¿Qué debo estudiar para el examen de certificación de ingeniero de big data?

1. Comprender los big data. La esencia de los big data son en realidad los datos, pero también incluyen algunas características nuevas. Los datos provienen de una amplia gama de formatos de datos (datos estructurados, datos no estructurados, archivos de Excel, etc.); cantidad de datos (al menos el nivel de TB, incluso el nivel de PB) la tasa de crecimiento de datos es rápida.

2. Las habilidades necesarias para big data requieren el lenguaje Python: se utilizará al escribir algunos scripts.

Lenguaje Scala: El mejor lenguaje para escribir programas Spark, por supuesto también puedes elegir Python.

Azkaban: Herramienta para tareas programadas.

Hue, Zepplin: herramientas gráficas para la gestión de la ejecución de tareas y visualización de resultados.

Allluxio, Kylin, etc. :Herramientas que aceleran las operaciones preprocesando los datos almacenados.

3. Habilidades imprescindibles: HBase (, Kafka, Storm/JStorm, Scala, Python, Spark (Core+Spark SQL+Spark streaming), dispositivos auxiliares (SQOOP/Flueme/OOZIE/Hue), etc. . ).