¿Cuáles son las direcciones de empleo de big data?

El desarrollo de big data es el principal responsable de la extracción, limpieza y modelado de datos de big data. En resumen, es responsable del procesamiento y la aplicación de datos. Por lo general, necesita cooperar con ingenieros de análisis de visualización de big data para extraer datos valiosos y proporcionarlos a las empresas. con apoyo al desarrollo empresarial, es decir, crecimiento empresarial basado en datos.

1. Ingeniero de desarrollo de Big Data

Competente en estructuras de datos y algoritmos de uso común, comprenda los principios básicos del diseño orientado a objetos y esté familiarizado con los patrones de diseño de uso común. marco de ecosistema, incluido Hadoop, Hive, Spark, Storm, Flink, ElasticSearch, HBase, etc., diseño, desarrollo y mantenimiento de almacenes de datos.

2. Ingeniero de operación y mantenimiento de big data

Responsable de la operación y mantenimiento de la plataforma básica de big data para garantizar la estabilidad y disponibilidad de la plataforma responsable del despliegue, en línea; y mantenimiento de productos de aplicaciones, responsable de la gestión de recursos de big data, optimización del rendimiento y manejo de fallas de la plataforma de datos, investigación en profundidad sobre tecnologías de operación y mantenimiento relacionadas con big data y optimización continua de la arquitectura de servicios de clúster; de herramientas automatizadas de operación y mantenimiento, monitoreo y manejo de fallas de big data. Participar en el diseño de herramientas automatizadas de operación y mantenimiento, monitoreo y resolución de problemas de big data.

3. Analista de big data/ingeniero de algoritmos de minería

Se dedica principalmente al análisis y la minería de datos, generalmente responsable del desarrollo de requisitos regulares de análisis de datos comerciales, construcción de retratos de usuarios, algoritmos de recomendación, etc. .

Requisitos:

Familiarizado con la teoría del almacén de datos, la teoría de la minería de datos, familiarizado con los algoritmos de aprendizaje automático de uso común (como regresión logística, redes neuronales, árboles de decisión, Bayes, etc.) ; familiarizado con Hadoop Tener un nivel correspondiente de comprensión de los componentes tecnológicos principales del ecosistema Spark.