¿Cuáles son la situación laboral y las perspectivas de los ingenieros de big data?
Introducción Con la popularización y comercialización de big data, mucha gente dice que los ingenieros de big data quedarán desempleados a la edad de 35 años. Entonces, ¿es cierto o falso? Hoy analizaremos la situación laboral actual y las perspectivas. de ingenieros de big data. Un análisis simple, espero que sea de ayuda para todos.
A juzgar por el entorno actual del mercado, los ingenieros de big data no estarán desempleados y habrá cada vez más puestos de trabajo en lugar de menos, porque cada vez más empresas utilizan big data. Al interrogador le preocupa que el trabajo de construir una plataforma de big data haya desaparecido, entonces, ¿qué más hacen los ingenieros de big data? De hecho, en realidad, los ingenieros de big data no construyen el caparazón de la plataforma, sino el contenido de datos en ella. plataforma.
Los primeros ingenieros de big data
Quizás el interrogador pensó que los ingenieros de big data dominaban varios principios de sistemas distribuidos, escribían fácilmente un programa de reducción de mapas para el cálculo y dominaban su uso en Hadoop. , Spark, Flink, Kafka varios principios arquitectónicos y luego ajuste rápidamente los parámetros para reparar los problemas encontrados en el clúster. Se pueden utilizar varios componentes del ecosistema de big data para crear diversas
canalizaciones de datos para implementar la plataforma de big data. De hecho, este era el trabajo diario de los ingenieros de big data cuando no existía una plataforma de datos comercial. Resuma el trabajo principal:
Mantener plataformas distribuidas como Hadoop, especialmente cuando se encuentran picos del sistema, estabilizar el sistema y completar el procesamiento de datos, requiere principios de diseño de sistemas distribuidos en profundidad
Basados en negocios Desarrollar y utilizar varios componentes del ecosistema de big data para crear diversos canales de datos, desde la recopilación de datos, la sincronización hasta el procesamiento (el llamado trabajo ETL)
Crear consultas de big data para analistas, gerentes de operaciones y productos Heti Plataforma Shu
Construcción de un sistema de presentación de informes de big data
Ingenieros de big data trabajando en plataformas comerciales de big data
Pero después de que salió la plataforma comercial de big data, Después al conectarse con los componentes en la nube, se forma un circuito cerrado (especialmente RDS en Alibaba Cloud puede importar datos directamente a MaxComputer. Por ejemplo, se requiere al menos una plataforma de programación (era haoop) para programar los scripts en el motor de datos). para completar la transferencia de datos, la biblioteca empresarial se sincroniza con la plataforma de big data y luego se programa para completar varias tareas informáticas posteriores. En el pasado, esto requería al menos una plataforma de programación, una plataforma de big data y un sistema de sincronización de datos. Pero ahora todo está integrado y el sistema distribuido se coloca en la nube para formar una red elástica de recursos, lo que evita el difícil trabajo de mantenimiento causado por picos de datos y es básicamente innecesario. Otros sistemas de consulta, recuperación de datos y visualización también están disponibles en la nube y se pueden utilizar directamente.
De lo anterior se puede ver que el trabajo original de los ingenieros de big data se ha simplificado básicamente a solo la parte de procesamiento de datos.
Al procesar datos, debe escribir un programa mapreduce al principio y debe tener una buena comprensión del sistema Hadoop para evitar escribir programas incorrectos, lo que resultará en datos sesgados y sin límite en el número. rango, etc., lo que resulta en una tarea Bloquear todo el clúster. Esta etapa requiere que lo realicen ingenieros profesionales, pero luego apareció Hive y se degradó directamente a SQL, que también pueden utilizar los estudiantes de negocios. Además, la plataforma comercial de big data construirá un motor de ejecución de plataforma de big data y optimizará mucho los scripts incorrectos para evitar la mayoría de los problemas, y mucho menos los problemas anteriores. De hecho, la mayoría de los ingenieros de datos ahora dedican el 90% de su tiempo a utilizar SQL. Realmente no es necesario comprender los principios subyacentes.
Esto también muestra que el alcance de los ingenieros de big data se ha reducido mucho y, básicamente, solo queda diseñar modelos de datos y realizar el procesamiento básico de datos. Esta parte de la dificultad ya no es la escritura del guión, sino la calidad arquitectónica del modelo de datos. Lo que se requiere en este momento es estar familiarizado con el negocio y el conocimiento del modelo de datos. Entonces, gradualmente, los ingenieros de big data comenzaron a fusionar el trabajo de algunos analistas de datos para diseñar varios indicadores comerciales. A veces, incluso los sistemas de indicadores necesarios para las operaciones son producidos directamente por ingenieros de big data. Pero, a su vez, el análisis de datos no puede realizar el trabajo de los ingenieros de datos porque existen barreras técnicas para el modelado de datos y el procesamiento de datos complejos.
Conclusión
Cuando el coeficiente de dificultad de una posición disminuye, se desarrollará horizontalmente y fusionará el trabajo de las posiciones ascendentes y descendentes. Al final, la posición más difícil permanecerá y. los demás saldrán.
Entonces, de la discusión anterior, creo que el número de puestos ordinarios de ingenieros de big data no se reducirá y los analistas de datos pueden fusionarse con ellos en el futuro, pero pueden fusionarse con ingenieros de algoritmos en el largo plazo. La cantidad de ingenieros que originalmente dominaban el desarrollo de sistemas distribuidos se redujo y se separaron para formar ingenieros de sistemas distribuidos, que continuaron desarrollándose en empresas que se dedicaban a empresas de plataformas comerciales de big data.
Lo anterior es el contenido relevante compilado y publicado por el editor hoy sobre la situación laboral y las perspectivas de los ingenieros de big data. Espero que sea útil para todos.