¿Qué hace un ingeniero de big data?
Big data es un término técnico muy de moda en la actualidad y, naturalmente, también ha generado algunas profesiones relacionadas con el procesamiento de big data, que influyen en las decisiones comerciales de las empresas a través de la extracción y el análisis de datos.
A este grupo de personas se les llama científicos de datos en el extranjero. Este título fue propuesto por primera vez en 2008 por D.J. Pati y Jeff Hammerbacher, quienes luego se convirtieron en líderes del equipo de ciencia de datos en LinkedIn y Facebook, respectivamente. Actualmente, el puesto de científico de datos también ha comenzado a crear valor en industrias tradicionales como las telecomunicaciones, el comercio minorista, las finanzas, la manufactura, la logística, la atención médica y la educación en los Estados Unidos.
Pero en China, la aplicación de big data apenas ha comenzado y el mercado de talentos aún no está tan maduro. "Es difícil esperar que un generalista complete todos los eslabones de toda la cadena. Más empresas reclutarán talentos que puedan complementar el equipo existente en función de sus recursos y deficiencias existentes", Wang Yuyao, director de análisis y estrategia empresarial de LinkedIn China. dijo al "Primer Semanario Financiero".
Por lo tanto, cada empresa tiene diferentes requisitos para el trabajo de big data: algunas enfatizan la programación de bases de datos, algunas destacan conocimientos de matemáticas y estadística aplicadas, algunas requieren experiencia relevante en empresas de consultoría o bancos de inversión, y algunas requieren experiencia relevante en empresas de consultoría o bancos de inversión. Esperamos encontrar talentos orientados a las aplicaciones que comprendan los productos y los mercados. Debido a esto, muchas empresas darán nuevos títulos y definiciones a quienes manejan big data según el tipo de negocio y la división del equipo: ingenieros de minería de datos, expertos en big data, investigadores de datos, expertos en análisis de usuarios, etc. Es un título que aparece a menudo en las empresas nacionales. Lo llamamos colectivamente "ingeniero de big data".
Wang Yuyao cree que en una empresa madura basada en datos, los "ingenieros de big data" suelen ser un equipo, lo que significa todo el proceso, desde la recopilación, visualización, análisis y conocimientos comerciales de datos hasta la transformación del mercado. Este equipo puede incluir ingenieros de datos, analistas, expertos en productos, expertos en marketing y tomadores de decisiones comerciales. * * * es un grupo importante que apoya a las empresas en la toma de decisiones comerciales y la exploración de modelos comerciales.
Debido a que el trabajo nacional de big data aún se encuentra en una etapa de desarrollo, el valor que se puede extraer depende completamente de las habilidades personales de los ingenieros. Los expertos que han estado en esta industria dieron un resumen aproximado de las necesidades de talento, incluida la capacidad de codificación informática, matemáticas y experiencia en estadística. Por supuesto, si puede tener una comprensión más profunda de algunos campos o industrias específicos, será más útil para ellos juzgar y comprender rápidamente los factores clave.
Aunque para algunas grandes empresas, los empleados con una maestría son una mejor opción, el investigador del Grupo Alibaba, Xue, enfatizó que las calificaciones académicas no son el factor más importante, la experiencia en el procesamiento de datos a gran escala y la curiosidad de. La búsqueda de tesoros en el océano de datos es más adecuada para este trabajo.
Además, un excelente ingeniero de big data debe tener ciertas capacidades de análisis lógico y ser capaz de localizar rápidamente los atributos clave y los determinantes de un problema empresarial. "Necesita saber qué es relevante, qué es importante, qué tipo de datos son los más valiosos y cómo encontrar rápidamente las necesidades centrales de cada negocio", dijo Shen Zhiyong, científico de datos del Baidu Big Data Joint de las Naciones Unidas. Laboratorio. La capacidad de aprendizaje puede ayudar a los ingenieros de big data a adaptarse rápidamente a diferentes proyectos y convertirse en expertos en datos en este campo en poco tiempo. Las habilidades de comunicación pueden hacer que su trabajo se desarrolle sin problemas, porque el trabajo de los ingenieros de big data se divide principalmente en dos formas: por marketing; departamento Impulsado por e impulsado por el departamento de análisis de datos. El primero a menudo necesita comprender las necesidades de desarrollo de los gerentes de producto, y el segundo necesita encontrar el departamento de operaciones para comprender la transformación real del modelo de datos.
Puedes tomar estos requisitos como una dirección para convertirte en un ingeniero de big data, porque en opinión de Yan Liping, socio director de Wanbao Ruihua, se trata de una gran brecha de talento. En la actualidad, las aplicaciones nacionales de big data se concentran principalmente en el campo de Internet y más de 56 empresas se están preparando para llevar a cabo investigaciones de big data. "En los próximos cinco años, el 94% de las empresas necesitarán científicos de datos", afirmó Yan Liping. Por lo tanto, también sugirió que algunas empresas que originalmente se dedicaban a trabajos relacionados con datos deberían considerar la transformación.
En esta edición de "China Business News" se entrevistó a tres empresas nacionales de Internet, BAT y expertos en recursos humanos en campos relacionados.
Explicaron cómo convertirse en un ingeniero de big data desde la perspectiva del lugar de trabajo y el estado laboral de dicho puesto.
¿Qué hace un ingeniero de big data?
En palabras de Xue, investigador de Alibaba Group, los ingenieros de big data son un grupo de personas que “juegan con los datos”, ejerciendo el valor comercial de los datos y transformándolos en productividad. La mayor diferencia entre big data y datos tradicionales es que están en línea, en tiempo real, a escala masiva, de forma irregular y no tienen reglas a seguir, por lo que las personas que "juegan" con estos datos son muy importantes.
Shen Zhiyong cree que si imaginamos el big data como una mina que se acumula continuamente, el trabajo de un ingeniero de big data es: “El primer paso es localizar y extraer el conjunto de datos donde se encuentra la información. lo que equivale a prospección y minería. El segundo paso es convertirlo en información que pueda juzgarse directamente, lo que equivale a fundir. Finalmente, la aplicación visualiza los datos "
Entonces, analiza el historial. , predecir el futuro y optimizar opciones son las tres tareas más importantes de los ingenieros de big data. A través de estas tres direcciones de trabajo ayudamos a las empresas a tomar mejores decisiones comerciales.
Descubrir las características de eventos pasados
Un trabajo muy importante de los ingenieros de big data es descubrir las características de eventos pasados mediante el análisis de datos. Por ejemplo, el equipo de datos de Tencent está construyendo un almacén de datos para clasificar la enorme e irregular información de datos en todas las plataformas de red de la empresa y resumir las características consultables para satisfacer las necesidades de datos de los diversos negocios de la empresa, incluida la publicidad y el desarrollo de juegos y las redes sociales. .
Encontrar las características de eventos pasados puede ayudar a las empresas a comprender mejor a los consumidores. Al analizar la trayectoria de comportamiento pasada del usuario, podemos comprender a esta persona y predecir su comportamiento. "Puedes saber qué tipo de persona es, su edad, sus aficiones, si es un usuario de Internet de pago, qué tipo de juegos le gusta jugar y qué le gusta hacer normalmente en línea", Zheng Lifeng, director general de la empresa. El Centro de Investigación y Desarrollo de Beijing de Tencent Cloud Computing Co., Ltd. dijo a "The A Financial Weekly". A continuación, a nivel empresarial, se pueden recomendar servicios relevantes para varios grupos de personas, como juegos móviles, o se pueden derivar nuevos modelos de negocio basados en diferentes características y necesidades, como el negocio de entradas de cine de WeChat.
Predecir lo que puede suceder en el futuro
Al introducir factores clave, los ingenieros de big data pueden predecir las tendencias futuras de los consumidores. En la plataforma de marketing de Alimama, los ingenieros están intentando ayudar a los vendedores de Taobao a hacer negocios introduciendo datos meteorológicos. "Por ejemplo, si este verano no hace calor, es muy probable que algunos productos no se puedan vender el año pasado, excepto aires acondicionados, ventiladores eléctricos, chalecos, bañadores, etc., que pueden verse afectados. Entonces lo haremos. establecer la relación entre los datos meteorológicos y los datos de ventas para encontrar las categorías de correlación, alerta temprana del inventario de facturación de los vendedores”, dijo Xue Dui.
En Baidu, Shen Zhiyong apoyó el desarrollo de modelos de algunos productos de "Baidu Prediction", tratando de utilizar big data para servir a una gama más amplia de personas. Ya en línea se incluyen predicciones de la Copa del Mundo, predicciones de exámenes de ingreso a la universidad, predicciones de lugares escénicos, etc. Tomando como ejemplo la predicción de lugares escénicos de Baidu, los ingenieros de big data deben recopilar todos los factores clave que pueden afectar el flujo de turistas en lugares escénicos durante un período de tiempo para predecir y clasificar la situación futura de congestión de varios lugares escénicos en todo el país. ¿Será tranquilo, lleno de gente o común en los próximos días?
Encuentre los mejores resultados
Según la naturaleza comercial de diferentes empresas, los ingenieros de big data pueden lograr diferentes propósitos a través del análisis de datos.
Tomando a Tencent como ejemplo, Zheng Lifeng cree que el ejemplo más simple y directo que mejor refleja el trabajo de los ingenieros de big data son las pruebas AB, que ayudan a los gerentes de producto a tomar decisiones entre las alternativas A y B. En el En el pasado, los tomadores de decisiones solo podían emitir juicios basados en la experiencia, pero ahora los ingenieros de big data pueden ayudar al departamento de marketing a tomar la decisión final mediante pruebas a gran escala en tiempo real; por ejemplo, tomando como ejemplo los productos de redes sociales, dejemos que la mitad de los los usuarios ven la interfaz A y la otra mitad usa la interfaz B, observan y cuentan la tasa de clics y la tasa de conversión durante un período de tiempo.
Como empresa de comercio electrónico, Alibaba espera ayudar a los vendedores a realizar un mejor marketing mediante un posicionamiento público preciso a través de big data. "Lo que esperamos es que se pueda encontrar un grupo de personas que estén más interesadas en el producto que los usuarios existentes", dijo Xue Dui.
Un ejemplo de Taobao es que cierto vendedor de ginseng originalmente promocionó al grupo objetivo entre mujeres embarazadas, pero al analizar la correlación entre los datos, los ingenieros descubrieron que la tasa de conversión de marketing para mujeres embarazadas era mayor.
bHabilidades requeridas
Experiencia relacionada con matemáticas y estadística
En cuanto a las tres principales empresas de BAT Internet que entrevistamos, los requisitos para los ingenieros de big data. Todas tienen maestría o Doctorados en estadística y matemáticas. Shen Zhiyong cree que los trabajadores de datos que carecen de formación teórica tienen más probabilidades de entrar en una zona peligrosa: las habilidades, un montón de números. Basados en diferentes modelos de datos y algoritmos, siempre pueden obtener algunos resultados, pero si no sabes lo que representa, no es un resultado verdaderamente significativo y puede engañarte fácilmente. "Sólo con cierto conocimiento teórico podemos comprender los modelos, reutilizarlos e incluso innovarlos para resolver problemas prácticos", dijo Shen Zhiyong.
Capacidad de codificación informática
Las capacidades prácticas de desarrollo y las capacidades de procesamiento de datos a gran escala son algunos de los elementos esenciales para un ingeniero de big data. "Debido a que el valor de una gran cantidad de datos proviene del proceso de extracción, uno debe hacerlo usted mismo para descubrir el valor del oro", dijo Zheng Lifeng.
Por ejemplo, muchos registros generados por personas en redes sociales son datos no estructurados. Cómo extraer información significativa de estos textos, sonidos, imágenes e incluso videos desorientados requiere que los ingenieros de big data lo descubran ellos mismos. Incluso en algunos equipos, los ingenieros de big data son los principales responsables del análisis empresarial, pero también deben estar familiarizados con la forma en que las computadoras procesan big data.
Conocimiento de áreas o industrias de aplicación específicas.
En opinión de Yan Liping, es muy importante que el papel de los ingenieros de big data no pueda separarse del mercado, porque los big data sólo pueden generar valor cuando se combinan con aplicaciones en campos específicos. Por lo tanto, la experiencia en una o más industrias verticales puede acumular conocimiento de la industria para los candidatos, lo cual es muy útil para convertirse en un ingeniero de big data en el futuro, por lo que también es una ventaja más convincente al postularse para este puesto.
"No sólo puede conocer datos, sino también tener visión para los negocios. Puede tener cierto conocimiento de algunas industrias, como el comercio minorista, la medicina, los juegos y el turismo, y es mejor estar en en línea con la dirección comercial de la empresa ". Aquí Por otro lado, Xue también dio una analogía. "Solíamos decir que algunos empleados de tiendas de lujo eran esnobs y sabían que no podían permitírselo a primera vista, pero a este grupo de personas les apasiona y pensamos que eran expertos en esta industria. Otro ejemplo es una persona que "Entiende la industria médica. Al considerar el negocio de seguros médicos, no solo estará relacionado con los registros médicos del Hospital Popular, sino también con los datos dietéticos, todos los cuales se basan en su comprensión de este campo".
Desarrollo profesional de un ingeniero de big data en C
Cómo convertirse en un ingeniero de big data
Debido a la escasez actual de talentos de big data, es difícil para las empresas contratar a personas adecuadas. talentos: deben tener un alto nivel educativo y, preferiblemente, tener experiencia en el procesamiento de datos a gran escala. Muchas empresas profundizarán en ello.
En agosto de este año, Alibaba celebró una competencia de big data. Tomó los datos de la plataforma Tmall, eliminó problemas sensibles, los colocó en la plataforma de computación en la nube y los entregó a más de 7.000 equipos. competir. La competencia se divide en competencia interna y competencia externa. "Esto no sólo motiva a los empleados internos, sino que también descubre talentos externos, lo que permite que los ingenieros de big data de diversas industrias se destaquen".
Yan Liping sugirió que las personas que se han dedicado a la gestión, minería y programación de bases de datos Durante mucho tiempo, incluidos los ingenieros de análisis cuantitativo tradicionales, los ingenieros de Hadoop y cualquier gerente que necesite emitir juicios y decisiones a través de datos en el trabajo, como los gerentes de operaciones en ciertos campos, pueden probar este puesto. datos siempre que aprendan a utilizarlos.
Salario y beneficios
Como "panda gigante" en la industria de TI, se puede decir que los ingresos y beneficios de los ingenieros de big data están en la cima de la categoría. Según la observación de Yan Liping, el 10% de la contratación nacional de TI, comunicaciones y industria está relacionada con big data, y la proporción sigue aumentando. Yan Liping dijo: "La llegada de la era del big data es muy repentina. El impulso del desarrollo nacional es radical, pero los talentos son muy limitados. Ahora la oferta supera la demanda en los Estados Unidos, el salario promedio anual del big data". ingenieros cuesta entre 654,38 dólares estadounidenses y 7.500 dólares estadounidenses.
Se entiende que entre las principales empresas de Internet de China, el salario de los ingenieros de big data del mismo nivel puede ser entre un 20 y un 30% más alto que el de otros puestos, y las empresas los valoran mucho.
Ruta de desarrollo profesional
Debido a la falta de talentos en big data, los departamentos de datos de la mayoría de las empresas generalmente tienen un modelo jerárquico plano, que se divide aproximadamente en tres niveles: analistas de datos, Investigador senior, director de departamento. Las grandes empresas pueden dividir diferentes equipos en diferentes equipos según las dimensiones del campo de aplicación, mientras que las pequeñas empresas deben desempeñar múltiples funciones. Algunas empresas de Internet que ponen especial énfasis en las estrategias de big data crearán otros puestos de alto nivel, como el director de datos de Alibaba. "La mayoría de las personas en este puesto se desarrollarán en la dirección de la investigación y se convertirán en importantes talentos en estrategia de datos", dijo Yan Liping. Por otro lado, los ingenieros de big data no tienen menos conocimiento de los negocios y los productos que los empleados del departamento comercial, por lo que también pueden ser transferidos al departamento de productos o al departamento de marketing, o incluso ascender a la cima de la empresa.