¿Qué conocimientos debe tener un ingeniero de big data?

1. Se dará prioridad a aquellos que dominen el lenguaje de desarrollo JAVA y a aquellos que estén familiarizados con los lenguajes de desarrollo Python y Scala;

2 Familiarizados con la tecnología del ecosistema Spark o Hadoop, con experiencia en código fuente. lectura de código y desarrollo secundario; competente en el ecosistema Hadoop y varias herramientas relacionadas con el almacenamiento en caché de alto rendimiento, se prefieren aquellos con experiencia práctica en el desarrollo de código fuente;

3. familiarizado con al menos una base de datos relacional convencional; familiarizado con el sistema operativo Linux, competente en el uso de comandos comunes; Competente en el uso de SQL, familiarizado con los principios de las bases de datos, familiarizado con al menos una base de datos relacional convencional, competente en el uso de comandos comunes, competente en el uso de scripts de shell, familiarizado con el desarrollo de ETL, competente en al menos un ETL ( talend, hervidor, ogg, etc.) transformación Se prefieren las herramientas de código abierto;

4. Tener una lógica de pensamiento sistémico clara, un gran interés en resolver problemas prácticos en la industria y buenas habilidades de comunicación, coordinación y aprendizaje.