Cómo convertirse en un maestro Spark de big data en computación en la nube
1. Competente en lenguaje Scala
El marco Spark está escrito en lenguaje Scala, que es complejo y elegante. Para convertirse en un maestro de Spark, debe leer el código fuente de Spark y dominar Scala.
2. Dominar la API proporcionada por la propia plataforma Spark para desarrolladores
Dominar el modelo de desarrollo orientado a RDD en Spark, dominar varias conversiones y
pasar el código fuente Dominar el proceso de envío de tareas de Spark; dominar la programación de tareas del clúster Spark a través del código fuente; ser especialmente competente en cada detalle del trabajo interno de los nodos DAGScheduler, TaskScheduler y Worker
4. Ser competente en la propia plataforma Spark como API proporcionada por el desarrollador
Dominar el modelo de desarrollo orientado a RDD en Spark y dominar varias transformaciones
Ser competente en la programación de tareas de. Clústeres de chispas. El uso del marco central por parte de Spark
Spark Streaming es un excelente marco de procesamiento de flujo en tiempo real, y debe dominar su DStream, conversión y puntos de control;
En Spark SQL, análisis estadístico fuera de línea La eficiencia de la función se ha mejorado significativamente y es necesario dominarla;
En Spark SQL, la eficiencia de la función de análisis estadístico fuera de línea se ha mejorado significativamente y es necesario dominarla ;
En Spark SQL, el análisis estadístico fuera de línea La eficiencia de la función se ha mejorado significativamente y es necesario dominarla.
En Spark SQL, la eficiencia del análisis estadístico fuera de línea La función de análisis se ha mejorado significativamente y es necesario dominarla. En Spark SQL, la eficiencia de la función de análisis estadístico fuera de línea se ha mejorado significativamente y es necesario dominar los principios y el uso del aprendizaje automático de Spark y GraphX
5; Proyectos Spark de nivel
p>A través de un proyecto Spark completo y representativo, se abren todos los aspectos de Spark, incluido el diseño arquitectónico del proyecto, análisis de la tecnología utilizada, desarrollo e implementación, operación y mantenimiento, etc. .