¿Qué tipo de programación debería aprender para los especialistas en big data?

Lenguaje necesario para big data

Java

Se puede decir que Java es el lenguaje de programación más básico para big data. Según mi experiencia a lo largo de los años, He estado expuesto a muchos La mayoría de los desarrolladores de big data se transfieren desde el desarrollo web de Java (por supuesto, esto no es absoluto. Incluso he visto productos transferidos al desarrollo de big data, lo cual es contrario al cielo).

En primer lugar, debido a que la esencia de big data no es más que el cálculo, la consulta y el almacenamiento de datos masivos, el desarrollo en segundo plano puede entrar fácilmente en contacto con escenarios de aplicación de acceso a grandes datos.

El segundo es el lenguaje Java. Es una ventaja natural, porque muchos componentes de big data se desarrollan en Java, como HDFS, Yarn, Hbase, MR, Zookeeper, etc. En el entorno de producción, primero debe aprender Java y luego leer el código fuente.

Hablando de masticar el código fuente, por cierto, definitivamente será difícil al principio. Debes tener un conocimiento profundo de los componentes en sí y del lenguaje de desarrollo. Espere hasta pasar esta etapa. Cuando se acostumbre a mirar el código fuente para resolver problemas, encontrará que el código fuente es realmente delicioso.

Scala

Scala y Java son muy similares. Ambos son lenguajes que se ejecutan en JVM y pueden llamarse entre sí sin problemas durante el proceso de desarrollo. La mayor parte de la influencia de Scala en el campo de big data proviene de las estrellas de la comunidad, Spark y Kafka. Todos deberían saber estas dos cosas (las presentaré en múltiples dimensiones en artículos más adelante). el campo. Popularidad en este campo.

Python y Shell

Shell no debería necesitar demasiada introducción. Se usa con mucha frecuencia y es una habilidad general imprescindible para los programadores. Python se usa más comúnmente en el campo de la minería de datos y en la escritura de algunos scripts diarios complejos que son difíciles de implementar en el shell.