¿Qué es la era del big data?
1: Definición de big data.
1. Big data, también conocido como información masiva, se refiere a la cantidad de datos involucrados que es tan grande que no puede ser capturado, administrado, procesado y organizado por el cerebro humano o incluso por las herramientas de software convencionales. en un tiempo razonable, convirtiéndose en Información que ayuda a las empresas a tomar decisiones con un propósito más positivo.
2. La tecnología de big data se refiere a la capacidad de obtener rápidamente información valiosa de varios tipos de big data, incluida la recopilación, el almacenamiento, la gestión, el análisis, la extracción, la visualización y otras tecnologías de datos y su integración. Las tecnologías adecuadas para big data incluyen bases de datos de procesamiento masivo paralelo (MPP), redes de minería de datos, sistemas de archivos distribuidos, bases de datos distribuidas, plataformas de computación en la nube, Internet y sistemas de almacenamiento escalables.
Internet es una gran red mágica, y el desarrollo de big data también es un modelo. Si realmente quieres entender big data, puedes venir aquí. El primer número de este teléfono móvil es 187. seguido de tres ceros en el medio 14250, puedes encontrarlo combinándolos en orden. Lo que quiero decir es que, a menos que quieras hacerlo o quieras saber sobre este aspecto, si es solo por diversión, no lo hagas. No vengo.
3. La aplicación de big data se refiere a la aplicación integral de la tecnología de big data en servicios específicos de big data para obtener información valiosa. Para diferentes negocios en diferentes campos y diferentes empresas, o incluso el mismo negocio de diferentes empresas en el mismo campo, debido a las diferencias en las necesidades comerciales, la extracción y el análisis de datos y los objetivos de la minería, la tecnología de big data y los sistemas de información de big data utilizados también pueden tienen diferencias. Gran diferencia. Sólo adhiriéndose al desarrollo sincrónico de la trinidad de "objetos, tecnología y aplicaciones" se podrá aprovechar plenamente el valor de los big data.
Cuando tu tecnología llega a su límite, ese es el límite de los datos. Big data no se trata de cómo definirlos, sino de cómo utilizarlos. El mayor desafío es qué tecnología hace un mejor uso de los datos y cómo utilizar el big data. Esto se compara con el auge de las bases de datos tradicionales, las herramientas de análisis de big data de código abierto como Hadoop y el valor de estos servicios de datos no estructurados.
2: Tipos de big data y métodos de minería de valor
1. Los tipos de big data se pueden dividir aproximadamente en tres categorías:
1) Empresa tradicional datos (datos empresariales tradicionales): incluye datos de consumidores, datos de ERP tradicionales, datos de inventario y datos de cuentas en el sistema CRM.
2) Datos generados por máquinas/sensores: incluidos registros de llamadas (CallDetail Records), medidores inteligentes, sensores de equipos industriales, registros de equipos (generalmente escapes digitales) y datos de transacciones.
3) Datos sociales: incluidos registros de comportamiento de los usuarios y datos de retroalimentación. Como Twitter, Facebook y otras plataformas de redes sociales.
2. Hay cuatro formas de extraer valor empresarial a partir de big data:
1) Segmentar grupos de clientes y luego personalizar servicios especiales para cada grupo.
2) Simular el entorno real, descubrir nuevas necesidades y mejorar el retorno de la inversión.
3) Fortalecer las conexiones departamentales y mejorar la eficiencia de toda la cadena de gestión y cadena industrial.
4) Reducir los costos de servicio y descubrir pistas ocultas para la innovación de productos y servicios.
3. Características del big data
La industria suele utilizar 4 V (es decir, volumen, variedad, valor, velocidad) para resumir las características del big data.
Específicamente, big data tiene cuatro características básicas:
1. La cantidad de datos es enorme
La gran cantidad de datos (volumen) se refiere a un gran conjunto de datos, generalmente alrededor de 10 TB. , pero en aplicaciones prácticas, muchos usuarios empresariales juntan varios conjuntos de datos para formar un volumen de datos a nivel de PB. Los datos de Baidu muestran que es nuevo... >>
Pregunta 2: Era de Big Data: ¿Qué es? ¿grandes datos? ¿Qué son los grandes datos? ¿Es un modelo operativo, una capacidad, una tecnología o un término general para referirse a los datos? ¿Cuál es la diferencia entre lo que hoy llamamos "big data" y los "datos" en el sentido tradicional del pasado? ¿Cuáles son las fuentes de big data? etc. Por supuesto, el autor no es un experto ni un erudito y no puede dar una definición autorizada que convenza a todos. Lo siguiente es solo un resumen de la comprensión del autor, solo expresa mi comprensión personal y no busca una autoridad integral. En primer lugar, comencemos con la diferencia entre "big data" y "datos". En el pasado, lo que llamábamos "datos" significaba en gran medida "números", como lo que llamábamos "datos" y "datos". el volumen, el volumen de negocios, los ingresos, las ganancias, etc. son todos números o texto simple que se puede codificar. Estos datos son relativamente simples de analizar y pueden manejarse fácilmente mediante soluciones de datos tradicionales (como bases de datos o tecnología de inteligencia empresarial) en el pasado. ; Y lo que hoy llamamos "big data", lo que hoy llamamos "big data" no se refiere simplemente a "números", sino que también puede incluir "texto, imágenes, audio, video ..." y otros tipos de datos. Formato, su contenido es muy rico, por ejemplo, nuestro blog, Weibo, blog ligero, nuestro intercambio de audio y video, nuestros registros de llamadas, nuestra información de ubicación, nuestra información de comentarios, nuestra información de transacciones, nuestra información interactiva, etc. El contenido es muy rico y completo. Desde un resumen formal, los "datos" están estructurados, mientras que los "grandes datos" incluyen "datos estructurados", "datos semiestructurados" y "datos no estructurados". datos". Respecto a "estructurado", "semiestructurado" y "no estructurado", puede ser difícil de entender literalmente. Aquí trato de usar mi lenguaje para ver si puedo visualizarlo. Para expresarlo claramente: Dado que los datos son El análisis de datos estructurado puede seguir ciertas reglas existentes, por ejemplo, a través de una correlación lineal simple, el análisis de datos puede predecir aproximadamente los ingresos del próximo mes y los big data son semiestructurados y no estructurados, y su proceso de análisis debe seguirse. Simula leyes desconocidas integrando todos los aspectos de la información, es decir, evalúa evidencia y suposiciones en forma de análisis para reflejar los resultados y calcula cada posibilidad. Sobre esta base, podemos definir "grandes datos" como la capacidad de. recopilar y analizar grandes cantidades de información sobre todos los aspectos de la vida humana, con el objetivo de descubrir patrones que no eran fáciles de detectar en el pasado a partir de datos complejos. En comparación con los "datos", los "grandes datos" tienen dos características obvias: primero, Como se mencionó anteriormente, los atributos de los datos incluyen datos estructurados, datos no estructurados y datos semiestructurados; en segundo lugar, existe una interacción frecuente entre los datos y el análisis de datos a gran escala y la minería de datos en tiempo real se combinan con los negocios. ¿Qué es Big Data? Hay otra pregunta: ¿cuál es la fuente de Big Data? O esta pregunta se puede expresar así: "¿Cuáles son las fuentes de datos de Big Data? "Para las empresas, los big data provienen principalmente de dos fuentes. Una son los datos generados a partir del funcionamiento del propio sistema de información interno de la empresa. La mayoría de estos datos están estandarizados y estructurados. (Si se continúa perfeccionando, el sistema de información interno de la empresa puede dividirse en Hay dos categorías: una es "sistema básico", que se utiliza para mejorar la eficiencia de los negocios diarios, como personal, procesamiento de contabilidad, envío y recepción de pedidos, etc., la otra es "sistema de información", que es se utiliza para respaldar la estrategia comercial de la empresa y el análisis de mercado, desarrollo de clientes, etc.) Los datos utilizados por los sistemas de BI tradicionales se encuentran básicamente en esta parte. La otra parte proviene del exterior, incluidos datos no estructurados generalizados, como las redes sociales. Internet de las cosas y comercio electrónico Estos datos no estructurados se generan a partir de datos que se originan en las redes sociales, el Internet de las cosas y el comercio electrónico. Estos datos no estructurados incluyen datos de redes sociales de Facebook, Twitter, LinkedIn y otras fuentes. como las redes sociales, la informática móvil, y está provocado por la aparición y aplicación de nuevos canales y nuevas tecnologías como los sensores.
Por ejemplo, esto incluye registros de detalles de llamadas, información de dispositivos y sensores, datos de mapas de geolocalización y GPS, archivos de imágenes masivos transferidos a través de un protocolo de transferencia de archivos administrado, texto web y datos de secuencia de clics, información científica, correo electrónico y más. Debido a que los datos provienen de diferentes fuentes y tipos, es posible observar diferentes aspectos de la misma cosa. Tomando como ejemplo a los clientes consumidores, la información del registro de consumo se puede ver en términos de su capacidad de consumo, frecuencia de consumo, puntos de interés, etc., la información del canal se puede ver en términos de sus preferencias de canal, la información de pago se puede ver en términos de sus canales de pago, y hay muchos más, como por ejemplo, si los clientes compartirán su situación de consumo en sitios de redes sociales y si los clientes han buscado información relevante en los motores de búsqueda antes y después del consumo. ¿Ha buscado palabras clave relevantes en motores de búsqueda, etc. Esta información (o datos)... >>
Pregunta 3: ¿Qué significa la era del big data? La consultora de fama mundial McKinsey fue la primera en proponer la era del "big data". McKinsey dijo: "Los datos han penetrado en todas las industrias y funciones comerciales hoy en día y se han convertido en un factor importante en la producción. La extracción y utilización de datos masivos". presagia una nueva ola de crecimiento y excedente de los consumidores. Los "grandes datos" existen desde hace mucho tiempo en los campos de la física, la biología, la ecología ambiental, el ejército, las finanzas, las comunicaciones, etc., pero han atraído mucha atención en los últimos años debido a la Desarrollo de Internet y la industria de la información. Big data es otra importante revolución tecnológica disruptiva en la industria de TI después de la computación en la nube y el Internet de las cosas. La computación en la nube proporciona principalmente lugares y canales para guardar y acceder a los activos de datos, y los datos son el activo verdaderamente valioso. La cantidad de información sobre transacciones comerciales dentro de la empresa, información de logística de productos básicos en el mundo de Internet, información interpersonal, información de ubicación en el mundo de Internet, etc. superará con creces la capacidad de carga de la arquitectura e infraestructura de TI existente de la empresa y los requisitos en tiempo real. También superará con creces la potencia informática existente. Cómo revitalizar estos activos de datos y ponerlos al servicio de la gobernanza nacional, la toma de decisiones corporativas e incluso la vida personal es la cuestión central del big data, y también es el alma interior y la inevitable dirección de actualización de la computación en la nube.
Pregunta 4: ¿Cuál es la era del big data, el concepto de big data y la connotación del análisis de big data? El mundo contiene una cantidad inimaginable de información digital, que cada vez es más rápida…. Desde los negocios hasta la ciencia, desde la política hasta el arte, esta influencia está en todas partes. Los científicos e ingenieros informáticos han acuñado un nuevo término para este fenómeno: "big data". ¿Qué significa la era del big data? ¿Qué significa el concepto de big data? ¿Qué significa el análisis de big data? El llamado big data, ¿qué es exactamente big data, de dónde viene y cuál es su definición?
1: Definición de big data.
1. Big data, también conocido como información masiva, se refiere a la cantidad de datos involucrados que es tan grande que no puede ser capturado, administrado, procesado y organizado por el cerebro humano o incluso por las herramientas de software convencionales. en un tiempo razonable, convirtiéndose en Información que ayuda a las empresas a tomar decisiones con un propósito más positivo. 2. La tecnología de big data se refiere a la tecnología que puede obtener rápidamente información valiosa a través de varios tipos de big data, incluida la recopilación, el almacenamiento, la gestión, el análisis, la extracción, la visualización y otras tecnologías de datos y su integración. Las tecnologías adecuadas para big data incluyen bases de datos de procesamiento masivo paralelo (MPP), redes de minería de datos, sistemas de archivos distribuidos, bases de datos distribuidas, plataformas de computación en la nube, Internet y sistemas de almacenamiento escalables.
Internet es una gran red mágica, y el desarrollo de big data también es un modelo. Si realmente quieres entender big data, puedes venir aquí. El primer número de este teléfono móvil es 187. seguido de tres ceros en el medio 14250, puedes encontrarlo combinándolos en orden. Lo que quiero decir es que, a menos que quieras hacerlo o quieras saber sobre este aspecto, si es solo por diversión, no lo hagas. No vengo.
3. La aplicación de big data se refiere a la aplicación integral de la tecnología de big data en servicios específicos de big data para obtener información valiosa. Para diferentes negocios en diferentes campos y diferentes empresas, o incluso el mismo negocio de diferentes empresas en el mismo campo, debido a las diferencias en las necesidades comerciales, la extracción y el análisis de datos y los objetivos de la minería, la tecnología de big data y los sistemas de información de big data utilizados también pueden tienen diferencias. Gran diferencia. Sólo adhiriéndose al desarrollo simultáneo de "objetos, tecnologías y aplicaciones" se podrá aprovechar plenamente el valor de los big data. "Cuando la tecnología llega a su límite, ese es el límite de los datos". Los macrodatos no se trata de cómo definirlos, sino de cómo utilizarlos. El mayor desafío es qué tecnología puede utilizar mejor los datos y con qué eficacia pueden hacerlo. utilizarse.
Esto se compara con el auge de las bases de datos tradicionales, las herramientas de análisis de big data de código abierto como Hadoop y el valor de estos servicios de datos no estructurados.
2: Tipos de big data y métodos de extracción de valor 1. Los tipos de big data se pueden dividir aproximadamente en tres categorías: 1) Datos empresariales tradicionales: incluidos los datos del consumidor del sistema CRM, los datos del ERP tradicional y los datos de inventario. y datos contables, etc. 2) Datos generados por máquinas/sensores: incluidos registros de llamadas (CallDetail Records), medidores inteligentes, sensores de equipos industriales, registros de equipos (generalmente escapes digitales), datos de transacciones, etc. 3) Datos sociales: incluidos registros de comportamiento de los usuarios y datos de retroalimentación. Plataformas de redes sociales como Twitter y Facebook. 2. El valor empresarial de la minería de big data se divide principalmente en cuatro métodos: 1) Segmentar grupos de clientes y luego personalizar servicios especiales para cada grupo. 2) Simular el entorno real para descubrir nuevas necesidades y mejorar el retorno de la inversión. 3) Fortalecer la vinculación departamental y mejorar la eficiencia de toda la cadena de gestión y cadena industrial. 4) Reducir los costos de los servicios, descubrir pistas ocultas sobre los costos de productos y servicios y descubrir pistas ocultas sobre la innovación de productos y servicios.
Tres: Características de big data La industria suele utilizar 4 V (es decir, volumen, variedad, valor, velocidad) para resumir las características de big data. Específicamente, big data tiene cuatro características básicas: 1. Es una gran cantidad de datos. Grandes volúmenes de datos (volúmenes) se refieren a grandes conjuntos de datos, generalmente de alrededor de 10 TB, pero en aplicaciones prácticas, muchos usuarios empresariales colocan estos conjuntos de datos. juntos, han formado un volumen de datos a nivel de PB; los datos de Baidu muestran que la navegación de su nueva página de inicio necesita proporcionar más de 1,5 PB de datos cada día (1 PB = 1024 TB, si estos datos se imprimen, superarán los 500 mil millones de piezas). Papel A4. Se ha confirmado que la cantidad de datos en todo el material impreso producido por humanos hasta ahora es de sólo 200 PB. 2. Es una categoría de datos con grandes categorías... >>
Pregunta 5: ¿Qué es big data? ¿Cómo entender el big data en la era del big data (big data, mega data? ), o Super big data se refiere a activos de información masivos, de alto crecimiento y diversos que requieren nuevos modelos de procesamiento para tener un mayor poder de toma de decisiones, conocimiento y capacidades de optimización de procesos.
Pregunta 6: ¿Cuál es la era del big data?
(Big data (término de la industria de TI))
Editor
Primero McKinsey & Company, una firma consultora de renombre mundial, propuso la era del big data. La compañía dijo: "Los datos han penetrado en todos los rincones del mundo actual. Los datos han penetrado en todas las industrias y departamentos de funciones comerciales de hoy y se han convertido en un factor importante. La gente está interesada en La extracción y utilización de datos masivos presagia una nueva ola de crecimiento de la productividad y el excedente de los consumidores. Los "grandes datos" existen desde hace algún tiempo en los campos de la física, la biología, la ecología ambiental y el ejército. , y las industrias de las comunicaciones, pero en los últimos años ha atraído mucha atención debido al desarrollo de Internet y la industria de la información.
Antecedentes
Editor
En 2012, el término "big data" se mencionó cada vez más y se utilizó para describir y definir la explosión de información. Los datos masivos generados en la era
El advenimiento de la era del big data
datos, y nombran el desarrollo tecnológico y la innovación relacionados con ellos. Ha aparecido en la portada de una columna del *** Wall Street Journal, ha aparecido en las noticias del sitio web oficial de la Casa Blanca, ha aparecido en algunos salones de conferencias temáticos nacionales de Internet e incluso ha sido incluido en recomendaciones de inversión de empresas sensibles. como Guojin Securities, Guotai Junan y Galaxy Securities Report. [1]
Los datos se están expandiendo rápidamente y determinan el desarrollo futuro de las empresas. Aunque es posible que muchas empresas aún no sean conscientes de los peligros ocultos causados por el crecimiento explosivo de los datos, a medida que pase el tiempo, la gente será cada vez más consciente de la importancia de los datos para las empresas.
Como decía una columna de febrero de 2012 en "***", la era del "big data" ha llegado, y las decisiones en los negocios, la economía y otros campos se basarán cada vez más en datos y análisis, en lugar de en la experiencia. e intuición.
Gary King, profesor de sociología en la Universidad de Harvard, dijo: "Esto es una gran cosa". King dijo: "Esto es una revolución. La gran cantidad de recursos de datos ha permitido que todos los campos comiencen a ser cuantitativos". proceso, ya sea académico Este proceso comenzará en todos los campos, ya sea el mundo, los negocios o la política. [2]
Impacto
Nota del editor
Big Data
La sociedad actual es una sociedad en rápido desarrollo con tecnología avanzada y circulación de información. , la distancia entre las personas se acerca cada vez más y la vida se vuelve cada vez más conveniente. Los big data son producto de esta era de alta tecnología. [3]
Con la llegada de la era de la nube, los big data han atraído cada vez más atención. Los macrodatos se utilizan a menudo para describir las grandes cantidades de datos no estructurados y semiestructurados creados por empresas que costarían mucho tiempo y dinero descargarlos en una base de datos relacional para su análisis. El análisis de big data a menudo se asocia con la computación en la nube porque el análisis en tiempo real de grandes conjuntos de datos requiere el uso de marcos como MapReduce para distribuir el trabajo entre docenas, cientos o incluso miles de computadoras. [2]
En la sociedad actual, la aplicación del big data ha destacado cada vez más sus ventajas, y ocupa cada vez más campos, como el comercio electrónico, O2O, logística y distribución, etc. El desarrollo de datos está ayudando a las empresas a desarrollar continuamente nuevos negocios e innovar modelos operativos. Bajo el concepto de big data, se han mejorado y optimizado integralmente el juicio sobre el comportamiento del consumidor, la predicción de las ventas de productos, la precisión del alcance del marketing y la precisión del reabastecimiento del inventario. [4]
"Big data" en la industria de Internet se refiere al fenómeno de que las empresas de Internet generan y acumulan datos sobre el comportamiento de la red de los usuarios en las operaciones diarias.
Big data se refiere a los datos generados por las empresas de Internet en las operaciones diarias. Su escala es tan grande que no se puede medir por G o T.
¿Qué tamaño tiene el big data? Un conjunto de datos denominado “Un día en Internet” nos dice que en un día, todo el contenido generado por Internet se puede grabar en 168 millones de DVD y se enviaron 294 mil millones de correos electrónicos (equivalente a dos años de producción de papel en Estados Unidos); Estados).
A partir de 2012, la cantidad de datos ha saltado del nivel TB (1024GB=1TB) al nivel PB (1024TB=1PB), EB (1024PB=1EB) e incluso ZB (1024EB=1ZB). Los resultados de la investigación de la Corporación Internacional de Datos (IDC) muestran que la cantidad de datos generados a nivel mundial fue de 0,49 ZB en 2008, 0,8 ZB en 2009, aumentó a 1,2 ZB en 2010 y alcanzó 1,82 ZB en 2011, lo que equivale a más de 200 GB. datos por persona en el mundo. En 2012, la cantidad de datos en todo el material impreso producido por humanos era de 200 PB. Toda la historia de la humanidad... >>
Pregunta 7: ¿Qué es la era del big data? p>
(Información masiva (término de la industria de TI))
Editor
La primera persona que propuso la llegada de la era del "big data" fue la consultora de fama mundial McKinsey decía: McKinsey cree: "Los datos han penetrado en todas las industrias y funciones comerciales de hoy y se han convertido en un factor de producción clave. La extracción y el uso masivo de datos por parte de las personas presagia una nueva ronda de crecimiento de la productividad y excedente del consumidor". "Ha existido durante mucho tiempo en los campos de la física, la biología, la ecología ambiental, el ejército, las finanzas, las comunicaciones y otros campos, pero en los últimos años ha atraído mucha atención debido al desarrollo de Internet y la industria de la información.
Nombre chino
Big data
Nombre extranjero
Big data
Propuesto por
McKinsey
Categorías
Términos técnicos
Índice de contenidos
1 Antecedentes
2 Impacto
?Big data
?La esencia del big data
?El valor de los datos
?Visualización
3 características
4 Estudios de casos
5 El auge de la industria
6 Proporcionar bases teóricas
7 Contramedidas
Antecedentes
Editar
A principios de 2012, el término "grandes datos" se utiliza cada vez más para describir y definir los datos masivos generados en la era de la explosión de la información. Se utiliza para describir y definir los datos masivos generados en la era de la explosión de la información
Se acerca la era del big data
Datos, y para nombrar el desarrollo tecnológico y la innovación relacionados con él. Apareció en la portada de una columna del *** Wall Street Journal, apareció en las noticias del sitio web oficial de la Casa Blanca en los Estados Unidos, apareció en algunos salones de conferencias nacionales con temas de Internet e incluso fue escrito por personas sensibles. Informe de asesoramiento sobre inversiones de empresas como Guojin Securities, Guotai Junan y Galaxy Securities. [1]
Los datos se están expandiendo rápidamente y determinan el desarrollo futuro de las empresas. Aunque es posible que muchas empresas aún no sean conscientes de los peligros ocultos causados por el crecimiento explosivo de los datos, a medida que pase el tiempo, la gente será cada vez más consciente de la importancia de los datos para las empresas.
Como decía una columna de la revista "***" en febrero de 2012, la era del "big data" ha llegado y las decisiones en los negocios, la economía y otros campos se basarán cada vez más en datos y análisis, en lugar de que la experiencia y la intuición.
Gary King, profesor de sociología en la Universidad de Harvard, dijo: "Esto es una gran cosa". King dijo: "Esto es una revolución. La gran cantidad de recursos de datos ha permitido que todos los campos comiencen a ser cuantitativos". proceso, ya sea académico Este proceso comenzará en todos los campos, ya sea el mundo, los negocios o la política. " [2]