Cómo convertirse en un ingeniero de big data

Big data es un término técnico muy de moda en este momento. Al mismo tiempo, naturalmente ha generado algunas profesiones relacionadas con el procesamiento de big data, que influyen en las decisiones comerciales de las empresas a través de la extracción y el análisis de datos.

Este grupo de personas se llama Data Scientist en el extranjero. Este título fue propuesto por primera vez por D.J. Pati y Jeff Hammerbacher en 2008. Más tarde se convirtieron en los responsables de los equipos de ciencia de datos de LinkedIn y Facebook. El puesto de científico de datos ahora ha comenzado a crear valor en las industrias tradicionales de telecomunicaciones, comercio minorista, finanzas, manufactura, logística, medicina, educación y otras industrias de EE. UU.

Sin embargo, en China, la aplicación del big data apenas ha comenzado y el mercado de talentos aún no está tan maduro. “Es difícil esperar que un generalista complete todos los eslabones de toda la cadena. Más empresas basarán sus esfuerzos en utilizar los recursos y las deficiencias existentes para reclutar talentos que puedan complementar el equipo existente", dijo Wang Yuyao, director de análisis y estrategia de negocios de LinkedIn, a China Business News.

¿Qué hace un ingeniero de datos? Por lo tanto, cada empresa tiene diferentes requisitos para el trabajo de big data: algunas enfatizan la programación de bases de datos, otras destacan el conocimiento de matemáticas y estadísticas aplicadas, algunas requieren experiencia en empresas de consultoría o bancos de inversión y algunas esperan encontrar personas que comprendan los productos y los talentos de las aplicaciones del mercado. Debido a esto, muchas empresas darán a estas personas que se ocupan de big data algunos títulos y definiciones nuevos según sus tipos de negocios y divisiones de equipo: a menudo nos referimos a ingenieros de minería de datos, expertos en big data, investigadores de datos, expertos en análisis de usuarios, etc. a los títulos que aparecen en las empresas nacionales como "ingenieros de big data".

Dado que el trabajo nacional de big data aún se encuentra en una etapa por desarrollar, el valor que se puede extraer depende completamente de las habilidades personales de los ingenieros. Los expertos que ya están en esta industria han brindado un marco general de requisitos de talento, incluida la capacidad de codificación informática, conocimientos relacionados con las matemáticas y la estadística. Por supuesto, si puede tener una comprensión más profunda de algunos campos o industrias específicos, podrá emitir juicios rápidos al respecto. Y es más útil comprender los factores clave.

Aunque para algunas grandes empresas, los empleados con títulos de maestría y doctorado son una mejor opción, el investigador del Grupo Alibaba, Xue Guirong, enfatizó que las calificaciones académicas no son el factor más importante siempre que puedan procesar datos en una gran cantidad. escala La experiencia y la curiosidad sobre la búsqueda de tesoros en el océano de datos lo harán más adecuado para este trabajo.

Además, un excelente ingeniero de big data debe tener ciertas capacidades de análisis lógico y ser capaz de localizar rápidamente los atributos clave y determinantes de un problema empresarial. "Tiene que saber qué es relevante, qué es importante, qué tipo de datos son los más valiosos y cómo encontrar rápidamente las necesidades centrales de cada negocio", dijo Shen Zhiyong, científico de datos del Baidu Big Data Joint de las Naciones Unidas. Laboratorio. La capacidad de aprendizaje puede ayudar a los ingenieros de big data a adaptarse rápidamente a diferentes proyectos y convertirse en expertos en datos en este campo en poco tiempo. Las habilidades de comunicación pueden hacer que su trabajo sea más fluido, porque los ingenieros de big data trabajan principalmente de dos maneras: impulsado por el departamento de marketing; Impulsado por el departamento de análisis de datos, el primero a menudo necesita comprender las necesidades de desarrollo del gerente de producto, mientras que el segundo necesita encontrar el departamento de operaciones para comprender la transformación real del modelo de datos.

Puedes considerar los requisitos anteriores como la dirección de los esfuerzos para convertirte en un ingeniero de big data, porque según la observación de Nicole Yan, socia gerente de Marlboro Ruihua, esta es una gran brecha de talento. En la actualidad, las aplicaciones nacionales de big data se concentran principalmente en el campo de Internet y más del 56% de las empresas se están preparando para desarrollar investigaciones de big data. "En los próximos cinco años, el 94% de las empresas necesitarán científicos de datos", dijo Nicole Yan. . Por lo tanto, también sugirió que algunas personas en las empresas que originalmente se dedicaban a trabajos relacionados con datos deberían considerar la transformación.

En palabras de Xue Guirong, investigador de Alibaba Group, los ingenieros de big data son un grupo de personas que “juegan con datos”, jugando con el valor comercial de los datos y convirtiendo los datos en productividad.

La mayor diferencia entre big data y datos tradicionales es que están en línea, en tiempo real, a escala masiva, de forma irregular y no sistemática, por lo que las personas que pueden "jugar" con estos datos son muy importantes.

Shen Zhiyong cree que si imaginamos Big Data como una mina que se sigue acumulando, entonces el trabajo de un ingeniero de Big Data es: “El primer paso es localizar y extraer el conjunto de datos donde se encuentra la información. , que equivale a prospección y minería. El segundo paso es convertirlo en información que pueda usarse directamente para juzgar, lo que equivale a fundir. El último paso es visualizar los datos ”

Entonces. analizar la historia, predecir el futuro y optimizar opciones son big data Las tres tareas más importantes para los ingenieros cuando "juegan con datos". A través de estas tres líneas de trabajo ayudan a las empresas a tomar mejores decisiones comerciales.

1. Descubra las características de eventos pasados

Un trabajo muy importante de los ingenieros de big data es descubrir las características de eventos pasados ​​mediante el análisis de datos. Por ejemplo, el equipo de datos de Tencent está construyendo un almacén de datos para clasificar la información de datos grande e irregular en todas las plataformas de red de la empresa y resumir las características que se pueden consultar para satisfacer las necesidades de datos de los diversos negocios de la empresa, incluida la publicidad. desarrollo de juegos, redes sociales, etc.

El papel más importante de descubrir las características de eventos pasados ​​es ayudar a las empresas a comprender mejor a los consumidores. Al analizar la trayectoria de comportamiento pasada del usuario, se puede comprender a esta persona y predecir su comportamiento. "Puedes saber qué tipo de persona es, su edad, sus aficiones, si es un usuario de Internet de pago, qué tipo de juegos le gusta jugar y qué le gusta hacer normalmente en línea". Director General del Centro de Investigación y Desarrollo de Beijing. de Tencent Cloud Computing Co., Ltd., dijo Zheng Lifeng a China Business Weekly. El siguiente paso es alcanzar el nivel empresarial, donde se pueden recomendar servicios relevantes para varios grupos de personas, como juegos móviles, o se pueden derivar nuevos modelos de negocio basados ​​en diferentes características y necesidades, como el negocio de entradas de cine de WeChat.

2. Predecir lo que puede suceder en el futuro

Al introducir factores clave, los ingenieros de big data pueden predecir las tendencias futuras de los consumidores. En la plataforma de marketing de Alimama, los ingenieros están intentando ayudar a los vendedores de Taobao a hacer negocios introduciendo datos meteorológicos. "Por ejemplo, si este verano no hace calor, es muy probable que ciertos productos no se vendan tan bien como el año pasado. Además de los aires acondicionados y ventiladores, pueden verse afectados chalecos, bañadores, etc. relación entre los datos meteorológicos y los datos de ventas y encontrar categorías relacionadas advertirán a los vendedores con anticipación sobre la rotación del inventario", dijo Xue Guirong.

En Baidu, Shen Zhiyong apoya el desarrollo de modelos de algunos productos de "Baidu Prediction", tratando de utilizar big data para servir a una gama más amplia de personas. Ya en línea se incluyen predicciones de la Copa del Mundo, predicciones de exámenes de ingreso a la universidad, predicciones de lugares escénicos, etc. Tomando como ejemplo la predicción de atracciones de Baidu, los ingenieros de big data deben recopilar todos los factores clave que pueden afectar el flujo de personas en las atracciones durante un período de tiempo para predecir y calificar la congestión futura de varias atracciones en todo el país, en el próximo En unos pocos días, ¿cómo será? Suave, lleno de gente o lleno de gente en general.

3. Encuentre los resultados óptimos

Según la naturaleza comercial de diferentes empresas, los ingenieros de big data pueden lograr diferentes propósitos a través del análisis de datos.

Para Tencent, Zheng Lifeng cree que el ejemplo más simple y directo que puede reflejar el trabajo de los ingenieros de big data es la prueba de opciones (prueba AB), que ayuda a los gerentes de producto a tomar decisiones entre las alternativas A y B. . En el pasado, los tomadores de decisiones solo podían emitir juicios basados ​​en la experiencia, pero ahora los ingenieros de big data pueden realizar pruebas en tiempo real a gran escala; por ejemplo, en el ejemplo de los productos de redes sociales, deje que la mitad de los usuarios vean la interfaz A y la otra mitad usa la interfaz B y observa las estadísticas de tasas de clics y tasas de conversión durante un período de tiempo que ayudarán al departamento de marketing a tomar la decisión final.

Como empresa de comercio electrónico, Alibaba espera utilizar big data para dirigirse a grupos precisos de personas y ayudar a los vendedores a realizar un mejor marketing. "Lo que más esperamos es que se pueda encontrar un grupo de personas que estén más interesadas en el producto que los usuarios existentes", dijo Xue Guirong. Un ejemplo de Taobao es que el grupo objetivo original de promoción de cierto vendedor de ginseng eran mujeres embarazadas, pero después de analizar la correlación entre los datos, los ingenieros descubrieron que el marketing dirigido a mujeres embarazadas tenía una tasa de conversión más alta.

Habilidades requeridas

1. Experiencia relacionada con matemáticas y estadística

Para las tres principales empresas de Internet BAT que entrevistamos, para big data se espera que los ingenieros tengan una maestría. o doctorado con experiencia en estadística y matemáticas. Shen Zhiyong cree que los trabajadores de datos que carecen de conocimientos teóricos tienen más probabilidades de ingresar a una zona de peligro técnico (Zona de peligro): un montón de números, de acuerdo con diferentes modelos de datos y algoritmos, siempre se pueden obtener algunos resultados, pero si no No sé lo que eso significa no es un resultado verdaderamente significativo, y ese resultado puede engañarlo fácilmente. "Sólo con cierto conocimiento teórico podemos comprender los modelos, reutilizarlos e incluso innovarlos para resolver problemas prácticos", dijo Shen Zhiyong.

2. Capacidad de codificación informática

Las capacidades de desarrollo práctico y las capacidades de procesamiento de datos a gran escala son algunos elementos necesarios para un ingeniero de big data. "Debido a que el valor de muchos datos proviene del proceso de extracción, uno debe hacerlo usted mismo para descubrir el valor del oro", dijo Zheng Lifeng.

Por ejemplo, muchos registros generados por personas en las redes sociales son datos no estructurados. Cómo extraer información significativa de estos textos, voces, imágenes e incluso vídeos despistados es un desafío que los ingenieros de big data deben descubrir por sí mismos. . Incluso en algunos equipos, las responsabilidades de los ingenieros de big data son principalmente el análisis empresarial, pero también deben estar familiarizados con la forma en que las computadoras procesan big data.

3. Conocimiento de campos de aplicación o industrias específicas

En opinión de Nicole Yan, un punto muy importante en el rol del ingeniero de big data es que no se puede separar del mercado, porque big data Los datos sólo pueden generar valor cuando se combinan con aplicaciones en campos específicos. Por lo tanto, la experiencia en una o más industrias verticales puede ayudar a los candidatos a acumular conocimientos de la industria, lo que será de gran ayuda para convertirse en un ingeniero de big data en el futuro. Por lo tanto, esta también es una ventaja más convincente al postularse para este puesto.

“No solo debe comprender los datos, sino también tener visión para los negocios, ya sea en el comercio minorista, la medicina, los juegos, el turismo u otras industrias, lo mejor es tener cierta comprensión de algunos de estos campos. hacer negocios con la empresa en la misma dirección ", Xue Guirong también hizo una analogía: "En el pasado, dijimos que algunos empleados de tiendas de lujo eran esnobs y podían decir de un vistazo si podían pagar algo o no. pero este grupo de personas es precisamente perspicaz y creemos que son expertos en esta industria. Otro ejemplo es una persona que conoce la industria médica cuando considera el negocio de seguros médicos, no solo considera los registros hospitalarios de las personas, sino también los datos dietéticos. , todos ellos basados ​​en su comprensión de este campo. "

Desarrollo profesional 1. Cómo convertirse en un ingeniero de big data

Debido a la escasez actual de talentos de big data, es Es difícil para las empresas reclutar talentos adecuados: deben tener altas calificaciones académicas y lo último en tecnología y experiencia en procesamiento de datos a gran escala. Por lo tanto, muchas empresas investigarán internamente.

En agosto de 2014, Alibaba celebró un concurso de big data. Extrajo los datos de la plataforma Tmall, eliminó los problemas sensibles, los colocó en la plataforma de computación en la nube y los entregó a más de 7.000 equipos. competencia, la competencia se divide en competencia interna y competencia externa. "De esta manera, podemos motivar a los empleados internos y también descubrir talentos externos, de modo que puedan surgir ingenieros de big data en diversas industrias".

Nicole Yan sugirió que se ha dedicado a la gestión de bases de datos, minería y Las personas que programan durante mucho tiempo, incluidos los analistas cuantitativos tradicionales, los ingenieros de Hadoop y cualquier gerente que necesite usar datos para tomar decisiones en el trabajo, como gerentes de operaciones en ciertos campos, pueden probar este puesto, y personas en varios campos. Los expertos pueden convertirse en ingenieros de big data siempre que aprendan a utilizar los datos.

2. Salario y beneficios

Como el "panda gigante" entre las profesiones de TI, se puede decir que los ingresos y beneficios de los ingenieros de big data están en la cima de la categoría. Según la observación de Nicole Yan, el 10% de la contratación industrial, de TI y de comunicaciones a nivel nacional está relacionada con big data, y la proporción sigue aumentando.

Nicole Yan dijo: "La era del big data ha llegado repentinamente. El impulso de desarrollo en el país es radical, pero los talentos son muy limitados. Ahora la oferta supera la demanda en los Estados Unidos, el salario promedio anual del big data". Los ingenieros alcanzan los 175.000 dólares estadounidenses. Se entiende que en las principales empresas nacionales de Internet, el salario de los ingenieros de big data del mismo nivel puede ser entre 20 y 30 yuanes más alto que el de otros puestos, y las empresas los valoran mucho.

3. Ruta de desarrollo profesional

Debido a la pequeña cantidad de talentos de big data, los departamentos de datos de la mayoría de las empresas generalmente tienen un modelo jerárquico plano, que se divide aproximadamente en analistas de datos, Hay 3 niveles: investigador senior y director de departamento. Las grandes empresas pueden dividir diferentes equipos según las dimensiones de los campos de aplicación, mientras que las pequeñas empresas necesitan desempeñar múltiples funciones. Algunas empresas de Internet que ponen especial énfasis en las estrategias de big data ocuparán otro puesto destacado, como el director de datos de Alibaba. "La mayoría de las personas en este puesto se desarrollarán en la dirección de la investigación y se convertirán en importantes talentos en estrategia de datos", dijo Nicole Yan. Por otro lado, los ingenieros de big data entienden los negocios y los productos, así como a los empleados del departamento comercial, por lo que también pueden pasar al departamento de productos o al departamento de marketing, o incluso ascender a la alta dirección de la empresa.