La era del big data ha llegado. ¿Qué es el big data?

Ha llegado la era del big data. ¿Qué es el big data?

Ha llegado la era del big data. ¿Qué son los grandes datos? 1. Antecedentes del surgimiento del big data En 2012, el término big data (big data) se mencionó cada vez más para describir y definir los datos masivos generados en la era de la explosión de la información, y para nombrar las tecnologías relacionadas. a ello. Ha aparecido en la portada de columnas del New York Times y del Wall Street Journal, ha aparecido en las noticias del sitio web oficial de la Casa Blanca, ha aparecido en algunos salones de conferencias nacionales con temas de Internet e incluso ha sido incluido en informes de recomendaciones de inversión. por sociedades de valores con un agudo olfato. Los datos se están expandiendo y creciendo rápidamente, lo que determina el desarrollo futuro de las empresas. Aunque es posible que las empresas no sean conscientes de los peligros ocultos causados ​​​​por el crecimiento explosivo de los datos, a medida que pase el tiempo, la gente será cada vez más consciente de los datos. importancia para el negocio. La era del big data plantea nuevos desafíos a la capacidad de los seres humanos para controlar los datos y también proporciona un espacio y un potencial sin precedentes para que las personas obtengan conocimientos más profundos y completos. McKinsey, una empresa consultora de renombre mundial, fue la primera en proponer la llegada de la era del big data. McKinsey dijo: "Los datos han penetrado en todas las industrias y áreas funcionales comerciales de hoy y se han convertido en un importante factor de producción. La minería y la minería de las personas. La aplicación de datos masivos presagia una nueva era. La llegada de una ola de crecimiento de la productividad y el excedente de los consumidores ha existido durante mucho tiempo en campos como la física, la biología, la ecología ambiental e industrias como la militar, las finanzas, y comunicaciones Sin embargo, debido a Internet y la tecnología de la información en los últimos años, el desarrollo de la industria ha atraído la atención de la gente. Big data en la industria de Internet se refiere al fenómeno de que las empresas de Internet generan y acumulan datos sobre el comportamiento de la red de los usuarios en las operaciones diarias. La escala de estos datos es tan grande que no se puede medir mediante G o T. La unidad de medida inicial de big data es al menos P (1000 T), E (1 millón de T) o Z (1 mil millones de T). 2. ¿Qué son los grandes datos? El campo de la tecnología de la información originalmente tenía conceptos como "datos masivos" y "datos a gran escala", pero estos conceptos solo se centraban en la escala de los datos en sí y no reflejaban plenamente las necesidades de procesamiento y aplicación de datos en el contexto de la Explosión de datos El término "big data" es un nuevo concepto que no solo se refiere a objetos de datos a gran escala, sino que también incluye las actividades de procesamiento y aplicación de estos objetos de datos. Es la unidad de objetos de datos, tecnología y aplicaciones. 1. Big data, o datos enormes, se refiere a la cantidad de datos involucrados que es tan grande que no se puede capturar, administrar, procesar y organizar en un tiempo razonable a través de las herramientas de software convencionales actuales para ayudar a las empresas a obtener información con fines más positivos en decisiones de negocios. Los objetos de big data pueden ser colecciones de datos reales y limitadas, como bases de datos mantenidas por un determinado departamento o empresa gubernamental, o pueden ser colecciones de datos virtuales e ilimitadas, como toda la información en Weibo, WeChat y las redes sociales. Big data es un activo de información enorme, diverso y de alto crecimiento que requiere nuevos modelos de procesamiento para tener un mayor poder de toma de decisiones, descubrimiento de conocimientos y capacidades de optimización de procesos. En términos de categorías de datos, “big data” se refiere a información que no se puede procesar ni analizar mediante procesos o herramientas tradicionales. Define aquellos conjuntos de datos que exceden el alcance y el tamaño del procesamiento normal, lo que obliga a los usuarios a adoptar métodos de procesamiento no tradicionales. Amazon Web Services (AWS) y el científico de big data John Rauser mencionaron una definición simple: Big data es cualquier gran cantidad de datos que excede la potencia de procesamiento de una computadora. La definición de big data del equipo de I + D: "Big data es la tecnología de propaganda más grande y la tecnología más de moda. Cuando ocurre este fenómeno, la definición se vuelve muy confusa", dijo Kelly: "Es posible que big data no incluya toda la información, pero creo que la mayoría". Parte de la comprensión de Big Data es que es tan grande que analizarlo requiere múltiples cargas de trabajo. Esta es la definición de AWS 2. La tecnología de Big Data se refiere a varios aspectos. varios tipos de big data, incluida la recopilación, el almacenamiento, la gestión, el análisis y la extracción de datos, la visualización y otras tecnologías y su integración.

Las tecnologías aplicables a big data incluyen bases de datos de procesamiento masivo paralelo (MPP), redes de minería de datos, sistemas de archivos distribuidos, bases de datos distribuidas, plataformas de computación en la nube, Internet y sistemas de almacenamiento escalables. 3. La aplicación de big data se refiere al acto de integrar y aplicar tecnología de big data a una colección específica de big data para obtener información valiosa. Para diferentes negocios en diferentes campos, diferentes empresas o incluso el mismo negocio de diferentes empresas en el mismo campo, debido a las diferencias en los requisitos comerciales, la recopilación y el análisis de datos y los objetivos de minería, la tecnología de big data y el sistema de información de big data utilizados también pueden tienen diferencias considerables. Gran diferencia. Sólo adhiriéndose al desarrollo sincrónico de la trinidad de "objetos, tecnología y aplicaciones" se podrá aprovechar plenamente el valor de los big data. Cuando su tecnología alcanza su límite, ese es el límite de los datos. "Los big data no se trata de cómo definirlos, lo más importante es cómo usarlos. El mayor desafío es qué tecnologías pueden usar mejor los datos y cómo los big data. En comparación con las bases de datos tradicionales, con el auge de las herramientas de análisis de big data de código abierto como Hadoop, ¿cuál es el valor de estos servicios de datos no estructurados? 3. Tipos de big data y métodos de extracción de valor 1. ¿Los tipos de big data? Se pueden dividir a grandes rasgos en tres categorías: 1) Datos empresariales tradicionales: incluidos datos de consumidores de sistemas CRM, datos ERP tradicionales, datos de inventario y datos contables, etc. 2) Datos generados por máquinas/sensores: incluidos registros de llamadas (CallDetail). Registros), medidores inteligentes, sensores de equipos industriales, registros de equipos (generalmente escapes digitales), datos de transacciones, etc. 3) Datos sociales (Socialdata): incluidos registros de comportamiento del usuario, datos de retroalimentación, etc. Plataforma de medios 2. Hay cuatro principales. métodos para extraer valor empresarial a partir de big data: 1) Segmentar grupos de clientes y luego personalizar servicios especiales para cada grupo 2) Simular entornos de la vida real para descubrir nuevas necesidades y aumentar el potencial de inversión 3) Fortalecer las conexiones departamentales y mejorar la. eficiencia de toda la cadena de gestión y la cadena industrial 4) Reducir los costos de servicio y descubrir pistas ocultas para innovar productos y servicios 4. Características de big data La industria suele utilizar 4 V (es decir, volumen, variedad, valor, velocidad) para resumir. Características de Big Data Específicamente, Big Data tiene cuatro características básicas: 1. Grandes volúmenes de datos (volúmenes) se refieren a grandes conjuntos de datos, generalmente en La escala es de aproximadamente 10 TB, pero en aplicaciones prácticas, muchos usuarios empresariales reúnen varios conjuntos de datos. formando un volumen de datos a nivel de PB; los datos de Baidu muestran que la navegación de su nueva página de inicio necesita proporcionar más de 1,5 PB de datos cada día (1 PB = 1024 TB); si se imprimen, estos datos superarían los 500 mil millones de hojas de papel A4. que el volumen de datos de todos los materiales impresos producidos por humanos hasta ahora es de solo 200 PB 2. Es una categoría de datos grande y diversa), los datos provienen de una variedad de fuentes de datos y los tipos y formatos de datos son cada vez más ricos. ha superado el alcance previamente limitado de los datos estructurados e incluye datos semiestructurados y no estructurados. Hay muchos tipos de datos, como imágenes, videos, audios e información de ubicación geográfica, y los datos personalizados representan la mayoría absoluta. La velocidad de procesamiento es rápida y los datos se pueden procesar en tiempo real incluso cuando la cantidad de datos es muy grande. El procesamiento sigue la "ley del segundo" y puede obtener rápidamente información de alto valor de varios tipos de datos. autenticidad y baja densidad de datos (veracidad) es alta, con datos sociales, contenido empresarial y transacciones. Con el interés en nuevas fuentes de datos, como los datos de aplicaciones, las limitaciones de las fuentes de datos tradicionales se han superado y las empresas necesitan cada vez más eficacia. poder de la información para garantizar su autenticidad y seguridad. Tomemos como ejemplo el vídeo. En un vídeo de una hora, durante el seguimiento ininterrumpido, los datos útiles pueden ser sólo uno o dos segundos.

5. El papel del big data 1. El procesamiento y análisis del big data se está convirtiendo en el nodo de la nueva generación de aplicaciones de integración de tecnologías de la información: Internet móvil, Internet de las cosas, redes sociales, hogares digitales, comercio electrónico, etc. Las formas de aplicación de la nueva generación de tecnologías de la información. Estas aplicaciones continúan generando big data. La computación en la nube proporciona plataformas informáticas y de almacenamiento para estos big data masivos y diversos. A través de la gestión, procesamiento, análisis y optimización de datos de diferentes fuentes, y la retroalimentación de los resultados a las aplicaciones mencionadas, se creará un enorme valor económico y social. Los macrodatos tienen el poder de catalizar el cambio social. Pero liberar esta energía requiere una gobernanza de datos rigurosa, un análisis de datos perspicaz y un entorno que inspire la innovación en la gestión (Ramayya Krishnan, decana de la Escuela Heinz, Universidad Carnegie Mellon). 2. Los macrodatos son el nuevo motor para el crecimiento rápido y sostenido de la industria de la información. Seguirán surgiendo nuevas tecnologías, nuevos productos, nuevos servicios y nuevos formatos de negocio para el mercado de los grandes datos. En el campo del hardware y los equipos integrados, los big data tendrán un impacto importante en las industrias de chips y almacenamiento, y también darán lugar a servidores integrados de almacenamiento y procesamiento de datos, computación en memoria y otros mercados. En el campo del software y los servicios, los macrodatos desencadenarán el desarrollo de procesamiento y análisis rápidos de datos, tecnología de extracción de datos y productos de software. 3. La utilización de big data se convertirá en un factor clave para mejorar la competitividad central. La toma de decisiones en diversas industrias está pasando de estar "impulsada por los negocios" a "impulsada por los datos". El análisis de big data puede permitir a los minoristas captar la dinámica del mercado en tiempo real y responder rápidamente; puede brindar apoyo a la toma de decisiones para que los comerciantes formulen estrategias de marketing más precisas y efectivas; puede ayudar a las empresas a brindar a los consumidores servicios más oportunos y personalizados; en medicina En el campo de la medicina, puede mejorar la precisión del diagnóstico y la eficacia de los medicamentos en el sector público, y los macrodatos también han comenzado a desempeñar un papel importante en la promoción del desarrollo económico y el mantenimiento de la estabilidad social; 4. Los métodos y métodos de investigación científica en la era del big data sufrirán cambios importantes. Por ejemplo, la encuesta por muestreo es un método de investigación básico en las ciencias sociales. En la era del big data, los datos masivos de comportamiento generados por los objetos de investigación en Internet pueden extraerse y analizarse mediante monitoreo y seguimiento en tiempo real, revelando regularidades y proponiendo conclusiones y contramedidas de la investigación. 6. Valor comercial del big data 1. Segmentar grupos de clientes El “big data” puede segmentar grupos de clientes y luego tomar acciones únicas adaptadas a cada grupo. Dirigirse a grupos de clientes específicos para marketing y servicios siempre ha sido el objetivo de las empresas. La enorme cantidad de datos almacenados en la nube y la tecnología de análisis de "big data" permiten realizar una segmentación extrema de los consumidores en tiempo real con capacidades extremadamente rentables. 2. Simular la realidad Utilice "big data" para simular la realidad, descubrir nuevas necesidades y aumentar el retorno de la inversión. Los sensores están ahora integrados en cada vez más productos, y la proliferación de automóviles y teléfonos inteligentes ha provocado una explosión en la cantidad de datos que se pueden recopilar. Las redes sociales como Blog, Twitter, Facebook y Weibo también generan enormes cantidades de datos. La computación en la nube y la tecnología de análisis de "grandes datos" permiten a los comerciantes almacenar y analizar estos datos junto con los datos del comportamiento de las transacciones en tiempo real con una alta rentabilidad. Los procesos de transacciones, el uso de productos y el comportamiento humano se pueden digitalizar. La tecnología de "grandes datos" puede integrar estos datos para la extracción de datos y, en algunos casos, utilizar la simulación de modelos para determinar qué plan tiene el mayor retorno de la inversión en diferentes variables (como diferentes planes de promoción en diferentes regiones). 3. Mejorar el retorno de la inversión, aumentar el intercambio de resultados de "big data" entre los departamentos relevantes y mejorar el retorno de la inversión de toda la cadena de gestión y la cadena industrial. Los departamentos con sólidas capacidades de "grandes datos" pueden compartir resultados de "grandes datos" con departamentos con capacidades de "grandes datos" más débiles a través de la computación en la nube, Internet y motores de búsqueda internos, ayudándolos a crear valor comercial con "grandes datos". 4. Alquiler de espacio para almacenamiento de datos Las empresas y los individuos tienen enormes necesidades de almacenamiento de información. Sólo almacenando los datos adecuadamente será posible aprovechar aún más su valor potencial. Específicamente, este modelo de negocio se puede subdividir en dos categorías: almacenamiento de archivos personales y usuarios empresariales. Principalmente a través de API fáciles de usar, los usuarios pueden colocar cómodamente varios objetos de datos en la nube y luego cobrarlos según el uso, como agua y electricidad. En la actualidad, muchas empresas han lanzado los servicios correspondientes, como Amazon, NetEase, Nokia, etc.

1. Al analizar la cadena de valor de big data, existen tres modelos: 1) retener big data pero no hacer un buen uso de ellos. Los ejemplos típicos son las instituciones financieras, las industrias de telecomunicaciones, las agencias gubernamentales, etc. 2) Sin datos, pero saben cómo ayudar a las personas con datos a utilizarlos; las más típicas son las empresas de servicios y consultoría de TI, como Accenture, IBM, Oracle, etc. 3) Tanto el pensamiento de datos como el de big data; los típicos son Google, Amazon, Mastercard, etc. 2. Las cosas más valiosas en el campo de big data en el futuro son dos cosas: 1) personas con pensamiento de big data que pueden transformar el valor potencial de big data en beneficios reales 2) personas que no han sido tocadas por big data; . áreas de negocio. Se trata de pozos de petróleo y minas de oro que aún no han sido explotados, los llamados océanos azules. Big data es un campo típico donde la tecnología de la información y la tecnología profesional, la industria de la tecnología de la información y diversas industrias están estrechamente integradas. Tiene una fuerte demanda de aplicaciones y amplias perspectivas de aplicación. Para aprovechar las nuevas oportunidades que brinda este campo emergente, es necesario rastrear y estudiar continuamente big data, mejorar continuamente el conocimiento y la comprensión de big data, adherirse al avance coordinado de la innovación tecnológica y la innovación de aplicaciones, y acelerar el desarrollo. de big data en diversos campos económicos y sociales. El desarrollo y la utilización de datos promueven las necesidades de aplicación y el nivel de aplicación de datos por parte de países, industrias y empresas a una nueva etapa.