¿Qué conocimientos básicos debería dominar en el análisis de big data?

Sintaxis básica de Java

· Estructura de rama if/switch

· Estructura de bucle for/ while/do while

· Declaración de método y Llamando

· Sobrecarga de métodos

· Uso de matrices

· Parámetros de línea de comando, parámetros variables

IDEA

· Configuración común de IDEA y teclas de acceso directo

· Plantillas personalizadas

· Associate Tomcat

· Caso práctico de proyecto web

Orientado a objetos programación

· Encapsulación, herencia, polimorfismo, constructores, paquetes

· Mecanismo de manejo de excepciones

· Clases abstractas, interfaces, clases internas

· API a menudo básica, lista/conjunto/mapa de colecciones

· Genéricos, creación e inicio de subprocesos

· Análisis en profundidad del código fuente de la colección, análisis estructural de datos comunes

·Seguridad de subprocesos, sincronización y comunicación, sistema de flujo IO

·Reflexión, mecanismo de carga de clases, programación de red

Java8/9/10 /11Nuevas características

·Expresión lambda, referencia de método

·Referencia de constructor, StreamAPI

·Comando jShell (JShell)

· Métodos privados y mejoras opcionales de interfaces

· Inferencia de tipos de variables locales

· Compilación simplificada y ejecución de programas, etc.

MySQL

· Lenguaje DML, lenguaje DDL, DCL idioma

· Consulta de grupo, consulta de unión, subconsulta, consulta de unión, función

· Declaración de control de proceso, características de transacción, nivel de aislamiento de transacción, etc.

JDBC

· Utilice JDBC para completar operaciones de adición, eliminación, modificación y consulta de bases de datos

· Operaciones por lotes

· Principios y aplicaciones del grupo de conexiones de bases de datos

· Grupos de conexiones de bases de datos comunes C3P0, DBCP, Druid, etc.

Maven

· Construcción del entorno Maven

· Almacén local y almacén central

· Crear proyecto web

· Despliegue automático

· Herencia continua

· Despliegue continuo

Linux

· Editor VI/VIM

· Operaciones de administración del sistema e inicio de sesión remoto

· Comandos comunes

· Preguntas reales empresariales sobre administración de paquetes de software

Programación Shell

· Variables personalizadas y variables especiales

· Operadores

· Juicio condicional

· Control de procesos

· Funciones del sistema y funciones personalizadas

· Comandos de herramientas comunes

· Preguntas de la entrevista

Hadoop

· Introducción al ecosistema Hadoop

·Modo operativo Hadoop

·Compilación del código fuente

·Explicación detallada del sistema de archivos HDFS subyacente

· Mecanismo de trabajo DN&NN

· Operación API HDFS

· Principio del marco MapReduce

· Compresión de datos

· Mecanismo de trabajo Yarn

· Explicación detallada del caso MapReduce

· Ajuste de parámetros de Hadoop

· Almacenamiento HDFS de múltiples directorios

· Equilibrio de datos de muchos discos

· Compresión LZO

· Comparativa de Hadoop

p>

Zookeeper

· Resultados de datos de Zookeeper

· Principios internos

· Mecanismo de elección

· Estructura de estadísticas

· Listener

· Instalación e implementación distribuida

· Operación API

· Casos prácticos

· Preguntas de entrevistas reales

· Iniciar y detener scripts

Nuevas funciones de HA

· Configuración del clúster HDFS-HA

Hive

· Principios de la arquitectura de Hive

· Instalación e implementación

· Conexión remota

· Comandos comunes y tipos de datos básicos

· Operaciones de datos DML

p>

· Declaración de consulta

· Unir y ordenar

· Cubo y función

· Compresión y almacenamiento

>Ajuste a nivel empresarial

· Casos prácticos

· Preguntas de entrevistas reales

Flume

· Arquitectura Flume

>Principios internos del Agente

· Transacciones

· Instalación y despliegue

· Casos prácticos

· Fuente personalizada

· Fregadero personalizado

· Monitoreo de ganglios

Kafka

· Cola de mensajes

· Arquitectura Kafka

>Implementación de clúster

· Operación de línea de comando

· Análisis de flujo de trabajo

· Estrategia de asignación de particiones

· Escritura de datos proceso

· Política de almacenamiento

· API de alto nivel

· API de bajo nivel

· Interceptor

· Monitorización

· Almacenamiento de alta confiabilidad

· Garantía de confiabilidad y durabilidad de los datos

· Mecanismo ISR

· Prueba de estrés de Kafka

· Cálculo del número de máquinas

· Cálculo del número de particiones

· Iniciar y detener scripts

DataX

· Instalación

· Principio

· Coherencia de datos

· Procesamiento de valores nulos

· Procesamiento de compresión LZO

Scala

· Introducción a los conceptos básicos de Scala

· Programación funcional

· Estructuras de datos

· Programación orientada a objetos

· Coincidencia de patrones

· Funciones de orden superior

· Rasgos

· Anotaciones y parámetros de tipo

· Implícito conversiones

· Tipos avanzados

· Casos prácticos

Spark Core

· Instalación e implementación

· RDD descripción general

· Modelo de programación

· Mecanismo de persistencia y punto de control

· DAG

· Explicación detallada de los operadores

· Orden de progreso de programación RDD

· Acumulador y variable de transmisión

Spark SQL

· SparkSQL

· DataFrame

· DataSet

· Función UDFamp personalizada

Spark Streaming

· SparkStreaming

· Principio del mecanismo de contrapresión

· Principios del modo Receptor y Directo

· Principios de ventana y casos prácticos

· Consideraciones de rendimiento y funcionamiento ininterrumpido 7x24

Spark kernel y optimización

· Explicación detallada del código fuente del kernel

· Explicación detallada de la optimización

Hbase

· Principio y arquitectura de Hbase

· Proceso de lectura y escritura de datos

· Uso de API

· Integración con Hive y Sqoop

· Ajuste a nivel empresarial

Presto

· Instalación e implementación de Presto

· Utilice Presto para ejecutar el ad hoc módulo de consulta del proyecto de data warehouse

Ranger2.0

· Instalación y uso de la herramienta de gestión de derechos Ranger

Azkaban3.0

· Instalación e implementación de la herramienta de programación de tareas Azkaban3.0

· Utilice Azkaban para la programación de tareas del proyecto y realice alarmas telefónicas y de correo electrónico

Kylin3.0

· Kylin instalación e implementación

· Ideas centrales de Kylin

· Utilice Kylin para conectar fuentes de datos para construir modelos

Atlas2.0

· Instalación y despliegue de la herramienta de gestión de metadatos Atlas

Zabbix

· Instalación y despliegue de la herramienta de monitorización de clústeres Zabbix

DolphinScheduler

· Instalación e implementación de la herramienta de programación de tareas DolphinScheduler

· Realice la programación automatizada de las tareas del proyecto de almacén de datos y configure alarmas por correo electrónico

Superset

· Utilice SuperSet para mostrar visualmente los resultados de los cálculos de proyectos de almacén de datos

Echarts

· Utilice Echarts para mostrar visualmente los resultados del cálculo del proyecto de almacén de datos

Redis

· Instalación e implementación de Redis

· Cinco tipos de datos principales

p>

· Configuración general

· Persistencia

· Transacciones

· Publicar y suscribirse

· Replicación maestro-esclavo

p>

Canal

· Utilice Canal para monitorear datos MySQL cambios en tiempo real y recopilarlos en proyectos en tiempo real

Flink

· Arquitectura en tiempo de ejecución

· Fuente de datos

· API de ventana

· Marca de agua

· Programación de estado

· Procesamiento de eventos complejos CEP

Flink SQL

· Detallado interpretación de Flink SQL y Table API

Kernel de Flink

·Explicación del código fuente del kernel de Flink

· Explicación de las preguntas de la entrevista clásica

Gitamp ; GitHub

· Instalación y configuración

· Construcción de biblioteca local

· Operaciones básicas

· Flujo de trabajo

· ClickHouse centralizado

ClickHouse

· Instalación y despliegue de ClickHouse

· Mecanismo de lectura y escritura

· Tipo de datos

· Motor de ejecución

DataV

· Utilice DataV para mostrar visualmente los resultados de los cálculos de requisitos del proyecto en tiempo real

azúcar

· Combine Springboot con Baidu sugar para realizar una visualización de datos en pantalla grande

Maxwell

· Utilice Maxwell para monitorear los cambios de datos MySQL en tiempo real y recopilarlos en proyectos en tiempo real

Mar Elástico

rch

· Operaciones básicas del índice ElasticSearch y operaciones de casos prácticos

Kibana

· Configuración del análisis visual a través de Kibana

Springboot

· Utilice Springboot para desarrollar programas de interfaz visual