El impacto de la era del big data
La sociedad actual es una sociedad en rápido desarrollo, con ciencia y tecnología avanzadas, la circulación de la información, la comunicación de las personas cada vez más cercana y la vida cada vez más conveniente. Big data es el producto de esta era de alta tecnología. .
Con la llegada de la era de la nube, el big data ha atraído cada vez más atención. Según el equipo de analistas de The Cloud, los big data se utilizan a menudo para describir las grandes cantidades de datos no estructurados y semiestructurados creados por empresas que costarían mucho tiempo y dinero descargarlos en una base de datos relacional para su análisis. El análisis de big data a menudo se asocia con la computación en la nube porque el análisis en tiempo real de grandes conjuntos de datos requiere el uso de marcos como MapReduce para distribuir el trabajo entre docenas, cientos o incluso miles de computadoras.
En la sociedad actual, la aplicación de big data ha destacado cada vez más sus ventajas y ocupa cada vez más campos. Varias industrias como el comercio electrónico, O2O, logística y distribución utilizan big data para desarrollarse. El campo está ayudando a las empresas a desarrollar continuamente nuevos negocios e innovar modelos operativos. Con el concepto de big data, el juicio de las empresas sobre el comportamiento del consumidor, la predicción de las ventas de productos, la precisión del alcance del marketing y la reposición del inventario se han mejorado y optimizado de manera integral.
Los "grandes datos" en la industria de Internet se refieren a un fenómeno en el que las empresas de Internet generan y acumulan datos sobre el comportamiento de la red de los usuarios en las operaciones diarias.
¿Qué tamaño tiene el big data? Un conjunto de datos denominado "Un día en Internet" nos dice que en un día, todo el contenido generado por Internet puede llenar 168 millones de DVD; se envían 294 mil millones de correos electrónicos (equivalente a dos años de papel en Estados Unidos). correos electrónicos de calidad enviados (equivalente a 770 años de texto de Time); 2,0 millones de publicaciones de comunidad vendidas (equivalente a 770 años de texto de Time); mundo….
A partir de 2012, la cantidad de datos ha saltado del nivel TB (1024GB=1TB) al nivel PB (1024TB=1PB), EB (1024PB= 1EB) e incluso ZB (1024EB=1ZB). . Los resultados de la investigación de la Corporación Internacional de Datos (IDC) muestran que la cantidad de datos generados a nivel mundial fue de 0,49 ZB en 2008, 0,8 ZB en 2009, aumentó a 1,2 ZB en 2010 y alcanzó 1,82 ZB en 2011, lo que equivale a más de 200 GB. datos por persona en el mundo. En 2012, el volumen de datos de todo el material impreso producido por humanos era de 200 PB y el volumen de datos de todos los idiomas en la historia de la humanidad era de aproximadamente 5 EB. La investigación de IBM muestra que el 90% de todos los datos adquiridos por la civilización humana se generaron en los últimos dos años. Para 2020, la cantidad de datos generados a nivel mundial será 44 veces mayor que la actual. Cada día se suben más de 500 millones de imágenes en todo el mundo y cada minuto se comparten 20 horas de vídeo. Sin embargo, ni siquiera toda la información que las personas crean todos los días (todas las comunicaciones, incluidas las llamadas de voz, los correos electrónicos y los mensajes, y todas las imágenes, videos y música subidos) se pueden comparar con la cantidad de información digital que las personas crean todos los días sobre sí mismas.
Esta tendencia continuará. Todavía estamos en las primeras etapas de lo que se conoce como "Internet de las cosas" y, a medida que la tecnología madure, nuestros dispositivos, vehículos y la tecnología "portátil" en rápida evolución podrán conectarse y comunicarse entre sí. Los avances en tecnología han reducido el costo de crear, capturar y administrar información a una sexta parte de lo que era en 2005, mientras que la inversión empresarial en hardware, software, talento y servicios ha aumentado a la mitad desde 2005, a 400 mil millones de dólares. Los macrodatos nos han traído tres cambios conceptuales disruptivos: datos generales en lugar de muestreo aleatorio en lugar de orientación precisa y correlación en lugar de causalidad;
R. No muestreo aleatorio, sino datos generales: en la era del big data, podemos analizar más datos y, a veces, incluso procesar todos los datos relacionados con un determinado fenómeno, en lugar de depender del muestreo aleatorio (Random muestreo, en el pasado normalmente pensábamos que era una limitación adecuada, pero la tecnología digital de alto rendimiento nos ha hecho darnos cuenta de que en realidad se trata de una limitación artificial
B . mixto: hay tantos datos para estudiar que antes ya no nos interesaba la precisión, había pocos datos para analizar, por lo que teníamos que cuantificar nuestros registros con la mayor precisión posible y, a medida que crece la escala, también crece la obsesión por; la precisión también se debilitará; con big data, ya no necesitamos llegar al fondo de un fenómeno, solo necesitamos captar la dirección general. Ignorar adecuadamente la precisión a nivel micro nos dará mejores conocimientos a nivel macro. /p>
C. No es una relación causal, sino una correlación: ya no estamos interesados en buscar relaciones causales. Buscar relaciones causales ha sido un hábito de larga data de los seres humanos. datos, ya no necesitamos prestar atención a las relaciones entre las cosas, en lugar de a la causalidad, debemos buscar correlaciones entre las cosas; es posible que las correlaciones no nos digan exactamente qué sucedió, pero eso no significa que no estemos buscando la causa. del problema. Es posible que la correlación no nos diga exactamente por qué sucedió algo, pero nos recordará que está sucediendo. ¿Qué es lo más caro en la era del big data?
Hace diez años, el Sr. Ge dijo: "¿Qué es lo más caro del siglo XXI? En última instancia, es el "talento". Sin embargo, hoy, diez años después, el La era del big data también ha provocado cambios continuos en el valor de varios datos. Gracias a la rápida expansión del ancho de banda de la red y los datos masivos generados por varios dispositivos portátiles, el crecimiento de los datos nunca se ha detenido, e incluso se ha disparado en un minuto. Hay más de 100.000 publicaciones nuevas en Weibo y más de 6 millones de visitas en la red social Facebook...
¿Qué significan estas enormes cifras?
Esto significa que. una nueva forma de enriquecerse puede estar a la vuelta de la esquina, y su valor no es menor que el del petróleo y el oro.
De hecho, cuando todavía se utilizan plataformas de redes sociales como Weibo como medio de comunicación. Como herramienta para expresar emociones u opiniones, los gurús de la riqueza de Wall Street están extrayendo los "datos de riqueza" de Internet, utilizándolos para predecir tendencias del mercado, y ya han ganado mucho dinero.
Hagámoslo Vea cómo lo hacen.
Lo que estos datos pueden hacer es:
●1. Wall Street vende acciones basándose en el sentimiento del público;
●2. . Los fondos de cobertura analizan las ventas de productos corporativos basándose en las opiniones de los clientes en los sitios web de compras;
●3. Los bancos infieren las tasas de empleo basándose en el número de puestos de trabajo en los sitios web de contratación;
●4. Las instituciones de inversión recopilan y analizan las declaraciones de las empresas que cotizan en bolsa para buscar pistas de quiebra;
●5. Los Centros para el Control y la Prevención de Enfermedades de EE.UU. (U.
●6. EE.UU. Los equipos de campaña del presidente Obama analizan las preferencias de los votantes por los candidatos presidenciales en tiempo real basándose en sus tweets, dice Andreas Weigend, ex científico jefe de Amazon. En este momento, Kodak, el mayor proveedor mundial de productos y servicios de imágenes fundado en 1881, está presentando. para la quiebra.
Los macrodatos son tan importantes que se adquieren, almacenan, buscan, disfrutan y analizan, e incluso presentarlos de forma visual se ha convertido en un tema de investigación importante en la actualidad. >
"Qué espectáculo tan espectacular es tener cantidades masivas de datos que cambian constantemente ante tus ojos. Ver todo esto en segundo plano, ¿quieres? ¿Es similar a la sensación de Dios mirando las chispas en el cielo? world? "
Esta es una pregunta que le hice a Liu Jianguo, un famoso experto en motores de búsqueda chino. Liu Jianguo dirigió el desarrollo del primer sistema de motor de búsqueda chino e inglés a gran escala de China: "Tian" net".
Sabes, Liu Jianguo fue una vez el director de tecnología de Baidu. En este sitio web que maneja 170 millones de solicitudes de búsqueda cada día (877 millones en 2013), si simplemente se queda sentado en segundo plano, yo. Me temo que no podré relajarme ni por un momento. De hecho, Baidu aumentó gradualmente el índice Baidu además de proporcionar servicios de búsqueda, y luego estableció importantes productos "Tieba" y productos estadísticos de Baidu basados en los datos de búsqueda de los usuarios de Internet.
Liu Qiangdong no respondió esta pregunta directamente. Pensó durante mucho tiempo, pareciendo estar recordando, con una misteriosa sonrisa en sus labios.
En términos de big data, algunas empresas ya tienen la sensación de estar cerca de Dios mirándose a sí mismas. Una empresa de Los Ángeles afirma modelar los datos históricos de las escenas nocturnas globales, filtrar las fluctuaciones y luego realizar inversiones. Informe de investigación de bienes raíces y consumo.
En términos de visualización y presentación de datos, una historia que recibí recientemente es que un amigo que trabaja en el departamento de logística de Cisco en Estados Unidos, un chico indio muy inteligente, fue contratado por Facebook para unirse a su investigación de datos con un grupo de alto salario. Posteriormente se sorprendió al descubrir que el grupo estaba compuesto por técnicos y expertos de empresas de logística y cadenas de suministro. "Facebook quería saber si podía analizar las rutas y comportamientos de los usuarios desde una perspectiva logística y de procesos".