¿Qué conocimientos aprende principalmente del big data?
Comparta la ruta de aprendizaje de big data:
La primera etapa es JAVASE MYSQL JDBC
Aprenda principalmente algunos conceptos del lenguaje Java, como caracteres, control de procesos bai, Objetos orientados, subprocesos de proceso, reflexión de enumeración, etc., aprender la instalación, desinstalación y operaciones relacionadas de la base de datos MySQL, aprender los principios de implementación de JDBC y conocimientos básicos de Linux, que es la etapa inicial de big data. La segunda etapa es una introducción a la teoría distribuida.
Explica principalmente la teoría CAP, el método de distribución de datos, la coherencia, 2PC y 3PC y la arquitectura de integración de big data. Los puntos de conocimiento involucrados incluyen consistencia, disponibilidad, tolerancia de partición, distribución del volumen de datos, proceso de 2PC, proceso de 3PC, método de hash, hash consistente, etc. La tercera etapa es el almacenamiento y la computación de datos (escenario fuera de línea)
Explique principalmente el servicio de coordinación ZK (1T), el almacenamiento de datos hdfs (2T), el almacenamiento de datos alluxio (1T), el canal de recopilación de datos y el logstash de recopilación de datos. , Sincronización de datos Sqoop (0.5T), sincronización de datos datax (0.5T), sincronización de datos mysql-binlog (1T), modelo informático MR y DAG (1T), colmena (5T), Impala (1T), programación de tareas Azkaban, tarea programación del flujo de aire, etc. La cuarta parte es la construcción del almacén de datos
Explica principalmente los antecedentes históricos del almacén de datos, el análisis de la tecnología de la arquitectura Banwo Auto (5T) del proyecto de almacén de datos fuera de línea, la implementación de kylin (3.5T) de procesamiento de modelos de datos multidimensionales y instalación, proyecto de almacén de datos fuera de línea: después de actualizar Banwo Auto, se agregará kylin para análisis multidimensional, etc., la quinta etapa es el motor informático distribuido
Explica principalmente el motor informático, el lenguaje Scala y Spark; , almacenamiento de datos hbase, redis, kudu y lectura y escritura de fuentes de datos múltiples de Realize Spark a través de un proyecto de plataforma p2p. La sexta etapa es el almacenamiento y la computación de datos (escenario en tiempo real).
Explica principalmente el canal de datos Kafka, el druida del almacén de datos en tiempo real, el procesamiento de datos de transmisión flink y SparkStreaming, y explica un cierto tráfico de big data. para que puedas transferir conocimientos. Se entenderá el punto. La séptima etapa es la búsqueda de datos
Explica principalmente elasticsearch, incluida la tecnología de búsqueda de texto completo, operaciones de instalación de ES, índice, creación de índice, adición, eliminación, modificación, indexación, mapeo, filtrado, etc. La octava etapa es la gobernanza de datos.
Explica principalmente los estándares de datos, la clasificación de datos, el modelado de datos, el almacenamiento y consulta de gráficos, los metadatos, el linaje y la calidad de los datos, Hive Hook, Spark Listener, etc. La novena etapa es el sistema BI.
Explica principalmente las dos tecnologías principales de Superset y Graphna, incluida la introducción básica, la instalación, la creación de fuentes de datos, la operación de tablas y la exploración y análisis de datos. La décima etapa es la minería de datos.
Explica principalmente el sistema matemático en el aprendizaje automático, la biblioteca de algoritmos de aprendizaje automático Spark Mlib, la biblioteca de algoritmos de aprendizaje automático Python scikit-learn y el aprendizaje automático combinado con proyectos de big data. ¡Los amigos que estén interesados en el análisis de big data pueden comenzar leyendo libros sobre análisis de big data! Hay muchos videos de enseñanza de big data en el sitio B, desde básicos hasta avanzados. Son bastante buenos. Los puntos de conocimiento se explican en detalle y también hay una hoja de ruta de aprendizaje completa. También puedes comprobarlo tú mismo, descargarlo y probarlo.