Cómo transformarse en un ingeniero de big data y qué condiciones debes cumplir
Este grupo de personas se llama científicos de datos en el extranjero. Este título fue propuesto por primera vez por D.J. Pati y Jeff Hammerbacher en 2008. Más tarde se convirtieron en los científicos de datos de LinkedIn y Facebook, respectivamente. Ahora, el puesto de científico de datos ha comenzado a crear valor en industrias tradicionales como las telecomunicaciones, el comercio minorista, las finanzas, la manufactura, la logística, la atención médica y la educación en los Estados Unidos.
Pero en China, que es la base para la formación de talentos de big data, podemos comprender más claramente la situación actual de la industria de big data, es decir, la aplicación de big data acaba de surgir y el mercado de talentos. "Es difícil para usted esperar que un todoterreno complete todos los eslabones de toda la cadena. Más empresas reclutarán talentos que puedan complementar el equipo existente en función de sus recursos y deficiencias existentes", dijo Wang Yuyao, director. de análisis y estrategia empresarial en LinkedIn, dijo a Financial Weekly.
¿Qué hace un ingeniero de datos?
Por lo tanto, cada empresa tiene diferentes requisitos para los puestos de big data: algunas enfatizan la programación de bases de datos, algunas destacan el conocimiento de matemáticas y estadísticas aplicadas, y algunas requieren experiencia relevante en empresas de consultoría o bancos de inversión, y algunas esperan encontrar. Talentos orientados a las aplicaciones que entienden los productos y los mercados. Debido a esto, muchas empresas darán a estas personas que se ocupan de big data algunos títulos y definiciones nuevos según sus tipos de negocios y divisiones de equipo: ingenieros de minería de datos, expertos en big data, investigadores de datos, expertos en análisis de usuarios, etc., son todos nacionales. El título que aparece a menudo en la empresa se denomina colectivamente "Ingeniero de Big Data".
Dado que el trabajo nacional de big data aún se encuentra en la etapa de desarrollo, el valor que se puede extraer depende completamente de las habilidades personales de los ingenieros. Los expertos que ya han estado involucrados en la industria han brindado algunos marcos aproximados de demanda de talento, incluida la necesidad de habilidades de codificación informática, experiencia en matemáticas y estadística y, por supuesto, una comprensión más profunda de campos o industrias específicas, lo que es más propicio para una rápida Juicio y comprensión de los factores clave.
Aunque para algunas grandes empresas, los talentos con una maestría son una mejor opción, el investigador del Grupo Alibaba, Xue Guirong, enfatizó que las calificaciones académicas no son el factor más importante. La experiencia en el procesamiento de datos a gran escala y la curiosidad. Encontrar tesoros en un mar de datos sería una mejor opción para este trabajo.
Además, un excelente ingeniero de big data también debe tener capacidades de análisis lógico y ser capaz de localizar rápidamente los atributos clave y los determinantes de los problemas empresariales. "Necesita saber qué es relevante, qué es importante, qué tipo de datos son más valiosos y cómo encontrar rápidamente las necesidades fundamentales de cada empresa". dijo Shen Zhiyong, científico de datos del Laboratorio Conjunto Baidu de Big Data de las Naciones Unidas. La capacidad de aprendizaje puede ayudar a los ingenieros de big data a adaptarse rápidamente a diferentes proyectos y convertirse en expertos en datos en este campo en poco tiempo. Las habilidades de comunicación pueden hacer que su trabajo sea más fluido, porque el trabajo de los ingenieros de big data se divide principalmente en dos direcciones: por el departamento de marketing; Impulsado e impulsado por el departamento de análisis de datos, el primero necesita comprender constantemente las necesidades de desarrollo del gerente de producto, mientras que el segundo necesita encontrar el departamento de operaciones para comprender la transformación real del modelo de datos.
Los requisitos anteriores pueden considerarse como la dirección de los esfuerzos para convertirse en un ingeniero de big data. Esta es una gran brecha de talento. En la actualidad, la mayoría de las aplicaciones nacionales de big data se concentran en el campo de Internet y más de 56 empresas se están preparando para el desarrollo y la investigación de big data.
Por lo tanto, analizar la historia, predecir el futuro y optimizar las opciones son Lo que los ingenieros de big data están "jugando con datos" son las tres tareas más importantes. Al trabajar en estas tres direcciones, pueden ayudar a las empresas a tomar mejores decisiones comerciales.
1. Descubra las características de eventos pasados
Para los ingenieros de big data, un trabajo muy importante es analizar datos y conocer las características de eventos pasados.
Por ejemplo, el equipo de datos de Tencent está construyendo un almacén de datos para clasificar la información masiva de datos irregulares en todas las plataformas de red de la empresa y resumir las características que se pueden consultar para respaldar las diversas funciones de la empresa, como publicidad, desarrollo de juegos y redes sociales. Necesidades de datos empresariales.
La función más importante de identificar características de eventos pasados es ayudar a las empresas a identificar mejor a los consumidores. Al analizar la trayectoria de comportamiento pasada del usuario, se puede comprender a esta persona y predecir su comportamiento. "Puedes saber qué tipo de persona es, su edad, sus aficiones, si es un usuario de Internet de pago, qué tipo de juegos le gusta jugar y qué le gusta hacer normalmente en línea". Zheng Lifeng, director general del Centro de I+D de Tencent Cloud Computing Co., Ltd. en Beijing, dijo a China Business News. A continuación, a nivel empresarial, se pueden recomendar servicios relevantes para varios grupos de personas, como juegos móviles, y también se pueden derivar nuevos modelos comerciales basados en diferentes características y necesidades, como el negocio de entradas de cine de WeChat.
2. Predecir lo que puede suceder en el futuro
Al introducir factores clave, los ingenieros de big data pueden predecir las tendencias de consumo futuras. En la plataforma de marketing de Alimama, los ingenieros están intentando ayudar a los vendedores de Taobao a hacer negocios introduciendo datos meteorológicos. "Por ejemplo, si este verano no hace calor, es probable que las ventas de ciertos productos no sean tan buenas como el año pasado. Además del aire acondicionado y los ventiladores eléctricos, también pueden verse afectados las camisetas de abajo y los trajes de baño. Entonces establecerá una combinación de datos meteorológicos y datos de ventas entre ellos, encontrará categorías relacionadas y recordará a los vendedores con antelación que entreguen el inventario". Dijo Xue Guirong.
Tomemos la predicción de atracciones de Baidu como ejemplo. Los ingenieros de big data necesitan recopilar todos los factores clave que pueden afectar el flujo de personas en las atracciones durante un período de tiempo y predecir y clasificar la congestión futura de varias atracciones. en todo el país, ¿en los próximos días?
3. Encuentre resultados de optimización
Dependiendo de la naturaleza del negocio de la organización, los ingenieros de big data pueden utilizar el análisis de datos para diferentes propósitos.
Antes, los tomadores de decisiones sólo podían emitir juicios basados en la experiencia, pero ahora, los ingenieros de big data pueden ayudar al departamento de marketing a tomar la decisión final realizando pruebas a gran escala en tiempo real, por ejemplo, en productos de redes sociales, deje que la mitad de los usuarios vea la interfaz A y la otra mitad use la interfaz B, y observe la tasa de clics y la tasa de conversión después de un período de tiempo.
Como empresa de comercio electrónico, Alibaba espera utilizar big data para dirigirse a grupos precisos de personas y ayudar a los vendedores a realizar un mejor marketing. Un ejemplo de Taobao es que un vendedor de ginseng originalmente promocionó al grupo objetivo entre mujeres embarazadas, pero los ingenieros descubrieron, al analizar la correlación entre los datos, que la tasa de conversión de marketing para mujeres embarazadas era mayor.
Habilidades requeridas
1. Experiencia relacionada con las matemáticas y la estadística
Entre las tres grandes empresas de BAT Internet que entrevistamos, se espera que los requisitos para los ingenieros de big data sean Ser titular de maestría o doctorado con formación en estadística y matemáticas. Los trabajadores de datos que carecen de formación teórica tienen más probabilidades de entrar en la zona de peligro de habilidades: un montón de números, que siempre pueden conducir a algunos resultados según diferentes modelos de datos y algoritmos, pero si no sabes lo que eso significa, no es así. resultados realmente significativos, y tales resultados pueden engañarlo fácilmente. "Sólo dominando ciertos conocimientos teóricos podremos comprender modelos, reutilizarlos e incluso innovarlos para resolver problemas prácticos". Dijo Shen Zhiyong.
2. Capacidad de codificación informática
La capacidad de desarrollo práctico y la capacidad de procesamiento de datos a gran escala son elementos esenciales para convertirse en un ingeniero de big data.
Por ejemplo, muchos de los registros generados por las personas en las redes sociales hoy en día son datos no estructurados, lo que requiere que los ingenieros de big data extraigan personalmente estos textos, voces, imágenes e incluso vídeos despistados para obtener información significativa de ellos. . Incluso en algunos equipos donde la función de un ingeniero de big data es principalmente el análisis empresarial, es importante estar familiarizado con la forma en que las computadoras procesan big data.
3. Comprensión de campos de aplicación o industrias específicas
Es muy importante que el papel de los ingenieros de big data no se pueda separar del mercado, porque el big data solo se puede combinar con aplicaciones. en campos específicos.
Por lo tanto, la experiencia laboral en uno o más campos verticales puede ayudar a los candidatos a acumular conocimientos de la industria, lo que les ayudará a convertirse en ingenieros de big data en el futuro y, por lo tanto, también es un punto a favor más convincente al postularse para este puesto.
Desarrollo profesional
1. Cómo convertirse en ingeniero de big data
Con la escasez actual de talentos de big data, es difícil para las empresas contratar talentos adecuados. -- Las personas con educación superior deberían tener preferentemente experiencia en procesamiento de datos a gran escala. Por lo tanto, muchas empresas buscarán talento internamente.
En agosto de 2014, Alibaba celebró una competencia de big data. Extrajo datos de la plataforma Tmall, eliminó problemas sensibles y los colocó en la plataforma de computación en la nube para que compitieran más de 7.000 equipos. y competencia externa. "Esto no sólo puede motivar a los empleados internos, sino también descubrir talentos externos, de modo que puedan surgir ingenieros de big data de todos los ámbitos de la vida".
Actualmente, las personas que se han dedicado a la gestión de bases de datos, la minería y la Durante mucho tiempo, incluidos los analistas cuantitativos tradicionales, los ingenieros de Hadoop y los gerentes que necesitan emitir juicios y decisiones basados en datos en el trabajo, como los gerentes de operaciones en ciertos campos, todos pueden probar sus trabajos. siempre que aprendan a utilizar los datos. Conviértase en un ingeniero de big data.
2. Salario
Como el "panda gigante" entre las profesiones de TI, se puede decir que los ingresos y beneficios de los ingenieros de big data han alcanzado la cima de profesiones de TI nacionales. comunicaciones, el 10% de las contrataciones en la industria están relacionadas con big data, y esta proporción sigue aumentando. Nicole Yan dijo: "La llegada de la era del big data es muy repentina. El impulso de desarrollo en el país es radical, pero el talento es muy limitado. Ahora es completamente escaso en los Estados Unidos, el salario promedio anual". El salario de un ingeniero de big data llega a los 175.000 dólares estadounidenses. Se entiende que entre las principales empresas basadas en Internet de China, el salario de los ingenieros de big data del mismo nivel puede ser entre 20 y 30 RMB más alto que el de otros puestos. lo cual es muy valorado por las empresas.
3. Ruta de desarrollo profesional
Debido a la pequeña cantidad de talentos de big data, los departamentos de datos de la mayoría de las empresas generalmente tienen un modelo jerárquico plano, dividido aproximadamente en analistas de datos y senior. Hay tres niveles: investigador y director de departamento. Las grandes empresas pueden dividir diferentes equipos según las dimensiones del campo de aplicación, pero en las pequeñas empresas es necesario desempeñar varias funciones. Algunas empresas de Internet que conceden gran importancia a las estrategias de big data establecerán puestos superiores adicionales, como el director de datos de Alibaba. Los ingenieros de Big Data, por otro lado, entienden el negocio y los productos tan bien como a los empresarios y, por lo tanto, pueden pasar a departamentos de productos o marketing o incluso a la alta dirección.