¿Qué tipo de trabajos puedo conseguir después de estudiar computación en la nube de big data?

Con el desarrollo de la era de la nube, el big data también ha atraído cada vez más atención. La computación en la nube y los big data han sido inseparables durante mucho tiempo. Dominar la computación en la nube y los big data también significa dominar los marcos comunes de desarrollo fuera de línea y en tiempo real de los big data. Tiene la capacidad de diseñar y desarrollar arquitectura y puede calificar como hadoop. ingeniero de desarrollo o ingeniero de desarrollo de Spark y otros puestos.

Las siguientes son las posiciones adecuadas para cada etapa:

Fase 1:

Conocimientos básicos (conceptos básicos de operación de Linux, programación de shell, preparación del entorno de clúster hadoop, zookeeper clúster, programación de red), optimización de JVM (parámetros operativos de JVM, modelo de memoria de JVM, uso del comando jmap, uso del comando jstack, uso de herramientas VisualVM, algoritmo de recolección de basura de JVM, recolector de basura de JVM, optimización de Tomcat8, código de bytes de JVM, optimización de código) . Después de completar la etapa preliminar de aprendizaje anterior, todos podrán completar scripts de automatización comunes para pequeñas y medianas empresas.

Fase 2:

Construcción del entorno Hadoop 2.0 (construcción del clúster original de Hadoop, construcción del clúster versión CDH), hdfs (introducción a hdfs, hdfs en profundidad), mapreduce (introducción a mapreduce, mapreduce en profundidad) Aprendizaje, mapreduce avanzado), hilo, colmena (instalación de colmena, operaciones básicas de colmena, uso avanzado de colmena, ajuste de colmena), herramientas del sistema auxiliar (flume, programación de azkaban, sqoop0), IMPALA, HUE, OOZIE. Después de aprender esta etapa, todos están básicamente calificados para trabajos relacionados fuera de línea, incluidos ingenieros de ETL, ingenieros de desarrollo de hadoop, ingenieros de operación y mantenimiento de hadoop, ingenieros de Hive, ingenieros de almacén de datos y otros puestos.

Fase 3:

Cola de mensajes de Kafka, programación de tormentas (programación de tormentas, caso Kanban en tiempo real de strom, aplicación avanzada de tormentas). Después de completar la tercera fase del estudio, todos estarán calificados para trabajos relacionados con la computación en tiempo real de Storm, incluidos ingenieros de ETL, ingenieros de desarrollo de big data, ingenieros de computación de flujo de Storm y otros puestos.

Fase 4:

Desarrollo del proyecto (alarma de registro de strom, desarrollo de proyecto de enrutador de strom). Después de comprender el desarrollo del proyecto Strom, todos estarán calificados para el trabajo de desarrollo de Stream Computing, ingeniero de Stream Computing, ingeniero de desarrollo de Big Data y otros puestos relacionados.

Etapa 5:

Programación Scala (sintaxis básica de Scala, programación orientada a objetos en Scala, coincidencia de patrones en Scala, introducción a los actores en Scala, combate real con actores, niveles avanzados en Scala Functions, conversiones implícitas y parámetros implícitos, práctica de programación de Akka), Spark (descripción general de Spark, instalación del clúster Spark, implementación de alta disponibilidad de Spark HA, programa Spark, descripción general de RDD, creación de RDD, operaciones comunes del operador RDD, dependencias de RDD, almacenamiento en caché de RDD mecanismo, generación de DAG, puntos de control de Spark, descripción general de Spark SQL, introducción de DataFrame y comparación con RDD, operaciones comunes de DataFrame, introducción de DataSet, ejecución programática de consultas de Spark SQL, introducción de Spark on Yarn, descripción general de sparkStreaming, principios de Spark Streaming, operaciones relacionadas con DStream, operación de Dstream práctica, integración de sparkStreaming con práctica de flume, integración de sparkStreaming con práctica de kafka), Hbase (introducción a hbase, implementación de hbase, operaciones básicas de hbase, filtros de hbase, principios de hbase, hbase avanzado). Después de completar la quinta etapa de aprendizaje, todos estarán calificados para trabajos relacionados con Spark, incluidos ingenieros de ETL, ingenieros de Spark, ingenieros de Hbase, etc.

Fase seis:

Retrato del usuario (descripción general del retrato del usuario, modelado del retrato del usuario, entorno del retrato del usuario, desarrollo del retrato del usuario, integración de Hive con hbase, integración de hbase con Phoenix, visualización del proyecto). Después de completar el proyecto Spark de big data real, puede estar calificado para trabajos relacionados con Spark, incluidos ingenieros de ETL, ingenieros de Spark, ingenieros de Hbase, ingenieros de sistemas de retratos de usuarios y analistas de datos.

Fase 7:

Flink (entrada de Flink, Flink avanzado, proyecto de comercio electrónico de Flink). Después de completar el estudio del sistema informático en tiempo real de Flink, todos estarán calificados para trabajos relacionados con Flink, incluidos ingenieros de ETL, ingenieros de Flink, ingenieros de desarrollo de big data en tiempo real y otros puestos.

Etapa 8:

Introducción al aprendizaje automático (conceptos de aprendizaje automático, fundamentos matemáticos del aprendizaje automático), conceptos básicos del lenguaje de aprendizaje automático (lenguaje Python, práctica de la biblioteca de análisis de datos de Python, etiqueta de retrato de usuario práctica de predicción) ), algoritmos de aprendizaje integrados, construcción de modelos de fuga de cerebros, proyectos de minería de datos, sistemas de recomendación y estimación de la tasa de clics CTR real. Después de completar el estudio final, podrá ser competente en aprendizaje automático, minería de datos y otros trabajos relacionados, incluidos ingenieros de algoritmos de recomendación, ingenieros de minería de datos e ingenieros de aprendizaje automático, llenando el vacío creado por el rápido crecimiento de talentos en el campo de la inteligencia artificial.