¿Qué conceptos básicos necesitas aprender para el desarrollo de big data? ¿Qué habilidades necesitas dominar?
Introducción Todo el mundo sabe que el desarrollo de big data ha sido muy popular en los últimos años. Muchas personas se han inscrito en clases para aprender big data y convertirse en ingenieros de big data. Entonces, ¿sabe qué conceptos básicos necesita? ¿Aprender sobre el desarrollo de big data? ¿Qué habilidades debo estudiar para aprender big data?
Solo necesitas aprender la versión estándar de Java, JavaSE. como Servlet, JSP, Tomcat y Struts, Spring, Hibernate y Mybatis son tecnologías orientadas a JavaEE que no se utilizan mucho en la tecnología de big data. Por supuesto, aún necesita saber cómo hacerlo. conéctese a la base de datos en Java y debe dominar JDBC.
Algunos estudiantes dijeron que Hibernate o Mybites también pueden conectarse a la base de datos. ¿Por qué no aprenderlo? No estoy diciendo que aprenderlos no sea bueno, pero aprenderlos puede llevar mucho tiempo. al final no funcionará. No se usa comúnmente. No he visto a nadie usar estas dos cosas para el procesamiento de big data. Por supuesto, si tienes suficiente energía, puedes aprender los principios de Hibernate o Mybites. Aprenda la API. Esto puede aumentar su comprensión de las operaciones de Java. Comprensión de las bases de datos, porque el núcleo de estas dos tecnologías es la reflexión de Java más los diversos usos de JDBC.
Habilidades generales: además de las capacidades básicas de Sql, incluida la capacidad de usar bases de datos tradicionales como Mysql y Oracle, y la capacidad de usar bases de datos distribuidas como Hive y Hbase, por supuesto, la capacidad de programación en Java es; Indispensable, otros aspectos como Mapreduce y Spark serán mejores.
Poder utilizar clústeres. Además de los problemas de clúster, tiene la capacidad de resolver problemas de clúster. Desarrollo de almacenes de datos: debe poder modelar almacenes de datos, como tablas de dimensiones, tablas de hechos, tablas de temas, modelos de estrellas, modelos de copos de nieve, etc. Debe estar muy familiarizado con el negocio y tener una visión general para construir un buen almacén de datos.
Desarrollo de datos: el desarrollo de datos incluye desarrollo fuera de línea y desarrollo en tiempo real. Este tipo está más orientado al desarrollo back-end, similar al desarrollo de Java cuando es necesario, además del mantenimiento diario del programa.
Análisis de datos: esto requiere sólidas habilidades de SQL. Sería mejor si pudiera usar Python para analizar datos. Debe poder utilizar herramientas ETL comunes, como sqoop y hervidor, y utilizar sistemas de informes.
Lo anterior es el contenido relevante compilado y publicado por el editor hoy sobre "¿Qué conceptos básicos se deben aprender para el desarrollo de big data? ¿Qué habilidades se deben dominar? Espero que sea útil para todos". Para obtener más información sobre cómo aprender big data desde cero, siga al editor para obtener actualizaciones continuas.