¿Cómo empezar a aprender big data?
¿Qué hace un analista de datos en una empresa?
¿Cuál es la mayor diferencia entre big data y datos ordinarios?
Nunca has estado expuesto a big data en tu trabajo diario. ¿Es esto lo que realmente quieres aprender?
Un poco confuso. Fish June es justo lo que necesitas para ayudarte a ordenar estos conceptos y encontrar el camino a seguir en el menor tiempo posible.
¿No estamos familiarizados con los "grandes" datos? No, no desconocido. Entramos en contacto con los datos en nuestra vida diaria. El precio que pagamos al comprar en Taobao, el bono que recibimos después de la evaluación de fin de año y la cantidad de comentarios sobre los artículos publicados en Zhihu, son todos datos.
Los datos existen desde que las personas sabían contar, al igual que el análisis de datos. ¿Qué pasa con los grandes datos?
Cuando se trata de big data, Internet no se puede evitar. Antes de la aparición de Internet, aunque los departamentos gubernamentales y algunas instituciones públicas podían obtener más datos mediante la acumulación diaria, su influencia no era suficiente. Hasta la aparición de los productos de Internet, debido a la conveniencia de recopilar datos de los usuarios, generalmente era posible acumular una cantidad de datos en un día que otras industrias podrían obtener en un año.
El aumento en el volumen de datos requiere la actualización tanto de los algoritmos como del hardware, y la dificultad técnica de operación también aumenta considerablemente. En este momento se necesitan tecnologías y plataformas especializadas para completar el almacenamiento, procesamiento y análisis de big data. Por ejemplo, todo el mundo ha oído hablar de la plataforma Hadoop y del algoritmo MapReduce. Todos estos son productos de la era del big data.
Entonces, creo que el núcleo del big data reside en el tamaño.
Las empresas de Internet de cierta escala crearán departamentos especiales de big data para gestionar los big data recopilados por sus productos. Cuanto mayor es la cantidad de datos, más difícil es procesarlos y, en consecuencia, más connotaciones se pueden extraer. Por lo tanto, big data se ha convertido en una industria y una industria de moda.
Personas en el círculo de big data En la industria de big data, los puestos ofrecidos por las empresas se dividen aproximadamente en tres categorías: analistas de datos, gerentes de productos de datos e ingenieros de datos. Trabajan en estrecha colaboración para impulsar la cultura de toma de decisiones basada en datos de la empresa.
Entonces, ¿qué hacen estas tres posiciones? ¿Cómo empezar?
Analista de Datos
Los analistas de datos son personas que trabajan en big data. Su núcleo es dominar varias herramientas de análisis de datos y habilidades de análisis de datos, con el objetivo de proporcionar informes de análisis a la gerencia de la empresa y a los equipos de productos para ayudarlos a tomar decisiones.
En el trabajo real, los datos se procesarán en varios tipos para que los utilicen los analistas de datos, algunos son relativamente primitivos y otros son relativamente simples y fáciles de usar. Por lo tanto, los analistas de datos deben tener una amplia gama de habilidades, como programación básica como R, SQL, Excel, Python, etc., así como dominio de los métodos de análisis de datos de uso común.
Si estás interesado en convertirte en analista de datos o incluso en científico de datos, te recomiendo encarecidamente que estudies sistemáticamente.
Gerente de productos de datos
Un gerente de productos de datos es la persona que diseña productos de datos. Sus habilidades principales son el análisis de requisitos de datos y el diseño de productos de datos, que no son esencialmente diferentes de los de otros gerentes de productos de Internet. En el trabajo real, los gerentes de productos de datos necesitan recopilar las necesidades de datos de diferentes usuarios y diseñar productos de datos para ayudarlos a utilizar los datos para tomar decisiones.
¿Cómo empezar? Espero que escuches mi charla de One Piece Hear "4 pasos para convertirte en un gerente de productos de Big Data", que te brindará una introducción muy completa.
Los libros introductorios generalmente recomendados incluyen "Todo el mundo es un gerente de producto", "El kit de herramientas de DatawareHouse", "Análisis Lean", etc.
Ingeniero de datos
Los ingenieros de datos se dividen simplemente en dos tipos, uno es ingeniero de minería de datos y el otro es ingeniero de plataforma de big data. La habilidad básica de un ingeniero es, por supuesto, escribir código y escribir código de alta calidad.
El trabajo principal de un ingeniero de minería de datos es desarrollar canales de big data y completar proyectos de minería de datos con analistas de datos, mientras que el trabajo principal de un ingeniero de plataforma de datos es mantener la plataforma de big data.
Serán competentes aquellos con experiencia en ciencias e ingeniería, que dominen lenguajes de programación/scripting como C, C# y Python, y que estén familiarizados con varios algoritmos básicos.
Cómo utilizar los datos para tomar decisiones
Para aquellos que no quieren cambiar de carrera y entrar en el círculo del big data, ¿qué necesitamos aprender exactamente?
Creo que todo el mundo ha pensado si podemos utilizar los datos para ayudarnos en nuestro trabajo diario, especialmente cuando el rendimiento es deficiente y no podemos encontrar un gran avance. Porque todos hemos oído hablar de algunos casos de datos inexactos, como los pañales y la cerveza.
Como ejemplo sencillo, diriges un restaurante al que actualmente no le va bien. Puede hacer todo lo posible para generar un montón de ideas nuevas para mejorar su negocio. Por otro lado, también puedes recopilar datos, analizarlos, encontrar la causa raíz y luego encontrar soluciones para cambiar la situación. Esto último suena más fiable.
Por lo tanto, qué datos recopilar y qué datos analizar es lo que hay que aprender: "Cómo utilizar los datos para tomar decisiones". Desde esta perspectiva, creo:
Todos deberían ser analistas de datos
Para aprender a tomar decisiones sistemáticas y a pensar en el análisis de datos, puede comenzar con este artículo: De 0 a 1 Construir un sistema de conocimiento de análisis de datos. Se incluyen los métodos de análisis de datos comúnmente utilizados en mi trabajo, como análisis de tendencias, descomposición multidimensional, segmentación de usuarios, análisis de embudo, etc. Por favor, no subestimes un artículo. El conocimiento es más importante que el bien.
También puedes empezar a construir tu propio pensamiento de análisis de datos a partir de un libro sencillo y fácil de leer "¿Quién dice que los novatos no pueden analizar datos?".
Existen multitud de libros sobre análisis de datos, con numerosas recomendaciones para casi cualquier búsqueda. Los conocimientos y teorías impartidos son en realidad muy similares. En definitiva, para que funcionen hay que combinarlos con la práctica.
Entonces, creo que practicar el análisis de datos en su propio negocio y trabajo, pensar más, hacer más preguntas y discutir con personas de la comunidad son las mejores formas de aprender. He estado haciendo esto yo mismo.
La mejor forma de aprender es haciendo preguntas.
En el proceso, a medida que profundice en los datos, dominará más lenguajes y herramientas de análisis de datos. Desde Excel hasta SQL e incluso R y Python, la cantidad de datos que puede manejar aumenta. Sin embargo, no es necesario que se sumerja en el aprendizaje de estas herramientas desde el principio, ya que logrará poco.