¿Qué conocimientos básicos necesitas aprender para empezar a utilizar big data?

Asegúrese de que su computadora tenga un sistema operativo de 64 bits, memoria 8G y 4 núcleos, e intente tener un SSD como disco del sistema. , de lo contrario te hará perder la confianza. Cuanto más grande sea el disco duro, mejor.

1. Requisitos del idioma

Java requiere javase al principio.

Scala es para aprender a usar Spark y puedes usarlo básicamente.

Requisitos detallados posteriores:

NIO de Java, netty, subprocesos múltiples, ClassLoader, capa inferior y ajuste de jvm, etc., rpc.

2. Requisitos del sistema operativo

Script de shell básico para Linux.

crontab es el más utilizado.

Herramientas de análisis de cuellos de botella y visualización de estado de CPU, memoria, red, disco, etc.

Se utilizan scp, ssh y configuración de host.

Uso de comandos de solución de problemas de red como Telnet y ping

3. Uso básico de sql

sql es la base de hive, sparksql, etc., y la mayoría de las empresas todavía se centran en almacenes de datos y no es necesario utilizar SQL.

Estadísticas SQL, clasificación, conexión, agrupación, etc., y luego sentencias SQL. Luego viene el ajuste de declaraciones SQL, el diseño de tablas, etc.

4. Conocimientos básicos de big data

Zookeeper, hadoop, hbase, hive, sqoop, flume, kafka, spark, storm, etc. Las funciones de estos marcos y la construcción del entorno básico deben dominarse con competencia y deben poder operar, mantener y analizar cuellos de botella.

5. Mapreduce y marcos relacionados hive y sqoop

Comprensión profunda de las ideas centrales de mapreduce. Especialmente la optimización de la reproducción aleatoria, la unión, el formato de entrada de archivos, la cantidad de mapas y la cantidad de reductores.

6. Almacenes como hive y hbase

Hive y hbase son básicamente los estándares para los grandes almacenes de datos. Para volver a utilizarlo, sepa cómo ajustarlo y solucionar problemas.

Para obtener más información sobre hbase, consulte la serie de artículos Inspur Tips hbase. la colmena se actualiza tarde.

7. Uso de colas de mensajes

Conceptos básicos, uso y análisis de cuellos de botella de Kafka. Consulte la serie de artículos Kafka sobre consejos sobre olas.

8. Sistema de procesamiento en tiempo real

Storm and Spark Streaming

9. Spark Core y SparkSQL

Spark se utiliza sin conexión. análisis. una característica importante.

10. Decisión final de dirección

a), operación y mantenimiento. (Competente en todo el sistema y la resolución de problemas, y puede escribir scripts de operación y mantenimiento, etc.).

b), análisis de datos. (Competente en algoritmos)

c), desarrollo de plataformas. (Competente en código fuente)

¿Autoestudio o formación?

Los estudiantes que no tengan conocimientos básicos primero deben comprender el video y aprenderlo a fondo antes de entrenar para evitar que el entrenamiento a ciegas no pueda seguir el ritmo del profesor y pierda tiempo, energía y dinero.

Aquellos que tienen la base pueden intentar hacer algunos videos para aprender conocimientos básicos y luego comunicarse con los grandes del grupo, siempre que estén dispuestos.

La mejor manera es Encuentra formas de hacerte amigo de los grandes.