¿Cómo ingresar al campo del big data y cuál es la ruta de aprendizaje?
La primera etapa es JAVASE+MYSQL+JDBC
Aprenda principalmente algunos conceptos del lenguaje Java, como caracteres, control de programas, orientado a objetos, subprocesos de proceso, enumeración, reflexión, etc., aprender la instalación, desinstalación y operaciones relacionadas de la base de datos MySQL, aprender los principios de implementación de JDBC y el conocimiento básico de Linux son solo la etapa introductoria de big data. La segunda etapa es la introducción de la teoría distribuida.
Explica principalmente la teoría CAP, el método de distribución de datos, la coherencia, 2PC y 3PC y la arquitectura de integración de big data. Los puntos de conocimiento involucrados incluyen consistencia, disponibilidad, tolerancia de partición, distribución del volumen de datos, proceso de 2PC, proceso de 3PC, modo hash, hash consistente, etc. La tercera etapa es el almacenamiento y la computación de datos (escenario fuera de línea)
Explica principalmente el servicio de coordinación ZK (1T), el almacenamiento de datos hdfs (2T), el almacenamiento de datos alluxio (1T), el canal de recopilación de datos y el logstash de recopilación de datos. , Sincronización de datos Sqoop (0.5T), sincronización de datos datax (0.5T), sincronización de datos mysql-binlog (1T), modelo informático MR y DAG (1T), colmena (5T), Impala (1T), programación de tareas Azkaban, tarea programación del flujo de aire, etc. La cuarta parte, Construcción del almacén de datos
Explica principalmente los antecedentes históricos del almacén de datos, el análisis técnico de la arquitectura Banwoche (5T) del proyecto de almacén de datos fuera de línea y la implementación del procesamiento de modelos de datos multidimensionales Kirin ( 3.5T) e instalación, proyecto de almacén de datos fuera de línea: Banwoche se actualiza para unirse a Kirin para análisis multidimensional, etc.; la quinta etapa es el motor informático distribuido
Explica principalmente el motor informático, el lenguaje Scala y Spark. , almacenamiento de datos hbase, redis, kudu e implementación de lectura y escritura de fuentes de datos múltiples Spark a través de un proyecto de plataforma p2p. La sexta etapa es el almacenamiento y la computación de datos (escenario en tiempo real).
Explica principalmente el canal de datos Kafka, el druida del almacén de datos en tiempo real, el procesamiento de datos en tiempo real Flink y SparkStreaming, y explica una gran cantidad de transporte. métodos para que todos puedan comprender los conocimientos aprendidos. La séptima etapa es la búsqueda de datos
Explica principalmente elasticsearch, incluida la tecnología de búsqueda de texto completo, operaciones de instalación de ES, indexación, creación de índice, adición, eliminación, modificación, indexación, mapeo, filtrado, etc. La octava etapa es la gobernanza de datos.
Explica principalmente los estándares de datos, la clasificación de datos, el modelado de datos, el almacenamiento y consulta de gráficos, los metadatos, el linaje y la calidad de los datos, Hive Hook, Spark Listener, etc. La novena etapa es el sistema BI
Explica principalmente las dos tecnologías principales de Superset y Graphna, incluida la introducción básica, la instalación, la creación de fuentes de datos, la operación de tablas y la exploración y análisis de datos. La décima etapa es la minería de datos.
Explica principalmente el sistema matemático en el aprendizaje automático, la biblioteca de algoritmos de aprendizaje automático Spark Mlib, la biblioteca de algoritmos de aprendizaje automático Python scikit-learn y el aprendizaje automático combinado con proyectos de big data. Los amigos que estén interesados en el análisis de big data tal vez deseen leer los libros sobre análisis de big data para comenzar. La estación B tiene muchos videos de enseñanza de big data, desde básicos hasta avanzados, todos son bastante buenos, los puntos de conocimiento son muy detallados y también hay una hoja de ruta de aprendizaje completa. También puedes echarle un vistazo tú mismo, descargarlo y probarlo.