¿Qué significa la era del big data? ¿En qué contexto se propuso el big data?
Era del big data:
La primera persona que propuso la llegada de la era del big data fue la consultora de renombre mundial McKinsey & Company. Los macrodatos existen desde hace mucho tiempo en campos como la física, la biología, la ecología ambiental e industrias como la militar, las finanzas y las comunicaciones. Sin embargo, han atraído mucha atención en los últimos años debido al desarrollo de Internet y la industria de la información.
Antecedentes del big data:
En 2012, el término big data se mencionó cada vez más y se utilizó para describir y definir la era de la explosión de información. datos y nombrar los desarrollos tecnológicos y las innovaciones asociadas a ellos.
Ha aparecido en la portada de columnas del "New York Times" y "The Wall Street Journal", apareció en las noticias del sitio web oficial de la Casa Blanca, apareció en algunas conferencias nacionales sobre temas de Internet. y salones de belleza, e incluso fue utilizado por países con un agudo sentido del olfato. ¿Se han incluido en el informe de asesoramiento de inversiones a Jin Securities, Guotai Junan, Galaxy Securities, etc.?
Los datos se están expandiendo rápidamente y determinan el desarrollo futuro de las empresas. Aunque muchas empresas pueden no ser conscientes de los peligros ocultos causados por el crecimiento explosivo de los datos, a medida que pasa el tiempo, las personas serán cada vez más. más conscientes de los peligros ocultos que trae consigo el crecimiento explosivo de los datos. Somos cada vez más conscientes de la importancia de los datos para las empresas.
Como decía el New York Times en una columna de febrero de 2012, la era del "big data" ha llegado, y las decisiones en los negocios, la economía y otros campos se basarán cada vez más en datos y análisis, en lugar de experiencia e intuición.
Gary King, profesor de sociología en la Universidad de Harvard, dijo: "Esto es una revolución. Una gran cantidad de recursos de datos están iniciando un proceso cuantitativo en todos los campos, ya sea académico, empresarial o gubernamental, todos campos "
Ampliar la cantidad de información
El impacto del big data
La sociedad actual es una sociedad en rápido desarrollo con tecnología avanzada y circulación de información. , la comunicación entre las personas se está acercando cada vez más y la vida se vuelve cada vez más conveniente. Los big data son producto de esta era de alta tecnología.
Con la llegada de la era de la nube, el big data ha atraído cada vez más atención. Los macrodatos se utilizan a menudo para describir las grandes cantidades de datos no estructurados y semiestructurados creados por empresas que costarían mucho tiempo y dinero si se descargaran en una base de datos relacional para su análisis.
El análisis de big data a menudo se asocia con la computación en la nube porque el análisis en tiempo real de grandes conjuntos de datos requiere el uso de marcos como MapReduce para distribuir el trabajo entre docenas, cientos o incluso miles de computadoras.
En la sociedad actual, la aplicación del big data ha destacado cada vez más sus ventajas. Ocupa cada vez más campos, como el comercio electrónico, O2O, logística y distribución, etc., y diversos usos del big data. Las áreas desarrolladas están ayudando a las empresas a desarrollar continuamente nuevos negocios e innovar modelos operativos.
Impulsados por el concepto de big data, el juicio sobre el comportamiento del consumidor, la predicción de las ventas de productos, la precisión del alcance del marketing y la precisión del reabastecimiento del inventario se han mejorado y optimizado de manera integral.
Los "grandes datos" en la industria de Internet se refieren a un fenómeno en el que las empresas de Internet generan y acumulan datos sobre el comportamiento en línea de los usuarios en las operaciones diarias.
¿Qué tamaño tiene el big data? Un conjunto de datos denominado "Un día en Internet" nos dice que en un día, todo el contenido generado por Internet puede llenar 168 millones de DVD; se envían 294 mil millones de correos electrónicos (equivalente a dos años de papel en Estados Unidos). correo de calidad).
Envió 2 millones de publicaciones comunitarias (equivalentes a 770 años de texto de la revista Time); vendió 378.000 teléfonos móviles, lo que supera los 371.000 bebés que nacen cada día en el mundo.
Hasta la fecha En 2012, la cantidad de datos saltó del nivel TB (1024 GB = 1 TB) al nivel PB (1024 TB = 1 PB)
EB (1024PB=1EB) o incluso ZB (1024EB=1ZB) ) clase.
Los resultados de la investigación de la Corporación Internacional de Datos (IDC) muestran que la cantidad de datos generados a nivel mundial fue de 0,49 ZB en 2008, 0,8 ZB en 2009, aumentó a 1,2 ZB en 2010 y alcanzó 1,82 ZB en 2011, lo que equivale a 1,82 ZB por persona en el mundo 200GB+ de datos.
A partir de 2012, el volumen de datos de todo el material impreso producido por humanos es de 200 PB, y el volumen de datos de todo el discurso en toda la historia de la humanidad es de aproximadamente 5 EB. La investigación de IBM muestra que el 90% de todos los datos adquiridos por la civilización humana se generaron en los últimos dos años. Para 2020, la cantidad de datos generados a nivel mundial será 44 veces mayor que la actual.
Cada día se suben más de 500 millones de imágenes en todo el mundo y cada minuto se comparten 20 horas de vídeo. Sin embargo, ni siquiera toda la información que las personas crean todos los días (todas las comunicaciones, incluidas las llamadas de voz, los correos electrónicos y los mensajes, y todas las imágenes, videos y música subidos) se pueden comparar con la cantidad de información digital que las personas crean todos los días sobre sí mismas.
Esta tendencia continuará. Todavía estamos en las primeras etapas de lo que se conoce como "Internet de las cosas" y, a medida que la tecnología madure, nuestros dispositivos, vehículos y la tecnología "portátil" en rápida evolución podrán conectarse y comunicarse entre sí.
Los avances tecnológicos han reducido el coste de creación, captura y gestión de información a una sexta parte de lo que era en 2005, mientras que las inversiones empresariales en hardware, software, talento y servicios han aumentado en un 50% desde entonces. 2005, alcanzando los 400 mil millones de dólares.
La esencia del big data
Los tres cambios conceptuales disruptivos provocados por el big data son: datos generales, en lugar de muestreo aleatorio, en lugar de orientación precisa; que la causalidad.
R. No muestreo aleatorio, sino datos generales: en la era del big data, podemos analizar más datos y, a veces, incluso procesar todos los datos relacionados con un determinado fenómeno, en lugar de depender del muestreo aleatorio (Random muestreo, normalmente lo considerábamos una limitación debida en el pasado, pero la tecnología digital de alto rendimiento nos permite darnos cuenta de que esto es en realidad una limitación artificial
B. buscar precisión, pero buscar hibridez: hay demasiados datos de investigación y en el pasado ya no nos interesa la precisión, había muy pocos datos para análisis, por lo que debemos cuantificar y registrar con la mayor precisión posible, y la obsesión por la precisión seguirá a los datos. Disminuirá a medida que aumente la cantidad; con big data, ya no necesitamos llegar al fondo de un determinado fenómeno, solo necesitamos obtener la dirección general.
Ignorar adecuadamente la precisión a nivel micro nos dará mejores conocimientos a nivel macro;
C. No la causalidad, sino la correlación: ya no estamos interesados en buscar relaciones causales. ha sido un hábito de larga data de los humanos en la era de los grandes datos, ya no necesitamos prestar atención a las relaciones causales entre las cosas, pero debemos buscar las correlaciones entre las cosas, las correlaciones pueden no ser precisas; . preciso. Es posible que la correlación no nos diga exactamente por qué sucedió algo, pero nos recordará que está sucediendo.
Enciclopedia Baidu: Era del Big Data