¿Cómo aprender big data por tu cuenta?

Ruta de aprendizaje autónomo de big data: (requisito previo: basado en lenguaje Java)

Se divide en cuatro módulos:

Conceptos básicos de Big Data

Big Data Framework

Proyecto Big Data

Otros

Módulo 1: Conceptos básicos de Big Data

Conceptos básicos de Java: Colecciones, Flujos IO

JVM: Ajuste clave del proyecto

Multi-threading: teoría y aplicación del proyecto

Linux: las operaciones más básicas

El El objetivo de este módulo es prepararse para la entrevista. Se recomienda leer libros y materiales de blogs para revisar la parte teórica. Se recomienda ver videos y depurar la parte de la aplicación.

Se presentará en detalle lo siguiente:

Conocimientos básicos de Java: colecciones, flujos IO

Es principalmente la parte teórica. Puedes leer libros o. blogs para resumirlo. No hay nada que recomendar en esta área. Sí, se puede encontrar mucha información en línea.

JVM: ajuste clave del proyecto

Multiproceso: teoría y aplicación del proyecto

Estos dos puntos clave deben combinarse en el proyecto mediante el uso real de. El proyecto, luego retroalimenta la base teórica correspondiente. Se recomienda ver el video correspondiente en la Estación B. El vídeo es muy detallado.

Linux: las operaciones más básicas

Para esta sección, primero lea el libro "La cocina privada de Linux del hermano Niao" y luego instale un sistema Linux y juegue con él. El comando más utilizado es noquearte.

Si no tiene tiempo, solo puede escribir usted mismo los comandos más utilizados. Hay resúmenes en Internet, que son muy convenientes para buscar. Por favor hazlo tú mismo.

Segundo módulo: Marco de Big Data

Hadoop: concéntrese en el aprendizaje. Después de todo, Big Data comenzó basándose en Hadoop, que son los tres módulos de HDFS, MapReduces y YARN.

Hive: aprenda a usarlo primero, aprenda a utilizarlo como herramienta.

Spark: se centra en el aprendizaje y se utiliza para reemplazar MapReduces de Hadoop. Se centra en tres partes: Spark Core, Spark SQL y Spark Streaming.

Flink: Nunca lo he aprendido.

Hbase: Para aprender como herramienta, primero aprende a utilizarla.

Kafka: Primero aprenda a usarlo. De hecho, los módulos internos pueden entenderse como dos partes: productor y consumidor. Todos los núcleos giran en torno a estos dos.

Flume: Para aprender como herramienta, primero aprende a utilizarla.

Sqoop: Para aprender como herramienta, primero aprende a utilizarla.

Azkaban: Para aprender como herramienta, primero aprende a utilizarla.

Scala: Este es un lenguaje de programación basado en Java que puedes aprender en el trabajo.

Zookeeper: Para aprender como herramienta, primero aprende a utilizarla.

Los videos y materiales de aprendizaje anteriores se pueden encontrar en la Estación B "Silicon Valley" y "Joze Big Data", que son muy detallados. La información más detallada se encuentra en el sitio web oficial de cada framework. El vídeo también guía a todos paso a paso hacia el sitio web oficial. El sitio web oficial está en inglés. Puede utilizar el complemento de traducción de Google Chrome para traducirlo al chino y leerlo.

El tercer módulo: proyecto big data

"Silicon Valley" y "José Big Data" de Bilibili.

Módulo 4: Otros

Distribuido: Conocer los conceptos más básicos y tener experiencia en proyectos distribuidos. Los proyectos distribuidos se pueden encontrar en la Estación B "Silicon Valley".

Algoritmo: hay un resumen detallado en Internet. Se recomiendan los libros "Oferta" y "Algoritmo 4". El propósito de leer el algoritmo es comprender las ideas de implementación del algoritmo y luego las ideas. método de implementación.

SQL: Principalmente ajuste, hay un resumen muy detallado en línea.

Además: no aprendas el marco de Storm.

Mucho trabajo de preparación antes de la entrevista, como: JVM y multi-threading, ajuste SQL y algoritmos. El proceso de uso real de estas cosas varía mucho, pero el conocimiento básico sigue siendo el mismo, por lo que siempre se preguntará durante la entrevista. El punto clave en la preparación inicial para este aspecto es aprobar la entrevista.

Ya casi termino de aprender. Por ejemplo: después de aprender Hadoop, Hive y Spark, voy a entrevistas y ajusto mi aprendizaje a través de los casos en las entrevistas.