La historia del big data

1. Ensayo sobre las trampas del Big Data

Li Na volvió a ganar el Grand Slam, superando el récord de Grand Slam chino de Zhang Depei. Un milagro que no está bajo el sistema nacional creó la alegría de. todo el país.

Al resumir los factores de éxito de Li Na, una vez más vi tales comentarios: Big data jugó un papel importante. Pero esta vez Li Na ganó el campeonato, la explicación más confiable es que Li Na mejoró enormemente su efectividad en el combate mental con la ayuda de Carlos.

Bajo la premisa de liderar a nivel técnico, Li Na superó los problemas de ritmo durante todo el partido. Tiene corazón de campeona. El 6 de septiembre de 2012, la jugadora china Li Na, que representa el más alto nivel del tenis asiático, se enfrentó a la famosa jugadora Serena Williams en Estados Unidos.

En ese momento, IBM desarrolló una estrategia de "Claves para la marcha" para ganar juegos para los jugadores participantes después de sintetizar todos los datos de los partidos del US Open en los últimos ocho años. La clave de la victoria de Li Na incluye tres indicadores: 1. La tasa de puntuación en el primer servicio debe superar el 69%. 2. La tasa de puntuación en el punto muerto de 4-9 tiros debe superar el 48%. 3. La tasa de puntuación al servir en 30; -30 o 40-40 debe Más del 67%.

El resultado del juego fue que Li Na fue derrotada. Después del juego, IBM anunció de manera destacada que Li Na solo había completado una de las tres estrategias ganadoras, mientras que Serena Williams había completado dos de sus tres estrategias ganadoras.

Por lo tanto, muchas personas siguieron el pensamiento de IBM y preguntaron: ¿por qué Li Na no juega de acuerdo con la estrategia de BM? De hecho, cuando los deseos subjetivos de las partes no son positivos, los big data son sólo ruido para ellas. Asimismo, los datos pueden ser engañosos debido a una intención subjetiva.

A menudo nos engañan al pensar que el papel del big data es permitir que la historia informe el futuro. No precisamente.

En un campo como el tenis, los datos históricos muchas veces pueden convertirse incluso en una trampa. Curiosamente, en otro partido de tenis femenino, una jugadora logró dos de los tres indicadores establecidos por IBM, pero fracasó.

El bando vencedor sólo cumplió una diana. 2. ¿Cuál es el proceso de desarrollo de la era del big data?

El proceso de desarrollo del big data se puede dividir según momentos.

El proceso de desarrollo específico de la era del big data es el siguiente: En 2005 nació el proyecto Hadoop. Hadoop fue originalmente un proyecto utilizado por Yahoo para resolver problemas de búsqueda web. Posteriormente, debido a la eficiencia de su tecnología, fue introducido por la Apache Software Foundation y se convirtió en una aplicación de código abierto.

Hadoop en sí no es un producto, sino un ecosistema compuesto por múltiples productos de software que permiten simultáneamente una funcionalidad integral y un análisis flexible de big data. Técnicamente, Hadoop consta de dos servicios clave: un servicio de almacenamiento de datos confiable que utiliza el sistema de archivos distribuido Hadoop (HDFS) y un servicio de procesamiento de datos paralelo de alto rendimiento que utiliza una tecnología llamada MapReduce.

Los dos servicios comparten el objetivo de proporcionar una base que haga realidad el análisis rápido y confiable de datos estructurados y complejos. A finales de 2008, algunos investigadores informáticos de renombre en los Estados Unidos reconocieron el concepto de "grandes datos" La alianza de la comunidad informática (puting munity Consortium), una organización industrial, publicó un influyente libro blanco "Big Data Computing: In". Empresa, Ciencia y Sociedad"Crear un avance revolucionario."

Hace que el pensamiento de las personas no se limite a las máquinas de procesamiento de datos y propone que la verdadera importancia de los big data son los nuevos usos y los nuevos conocimientos, no los datos en sí. Se puede decir que esta organización es la primera organización en proponer el concepto de big data.

India *** estableció una base de datos biométrica para la gestión de identidad en 2009, y el Proyecto Global Pulse de las Naciones Unidas ha examinado cómo se pueden utilizar las fuentes de datos de teléfonos móviles y sitios de redes sociales para analizar y pronosticar todo desde la espiral. los precios a las enfermedades. Ese mismo año, el gobierno de Estados Unidos abrió aún más la puerta a los datos al lanzar el sitio web ://Data.gov, que proporciona una variedad de datos gubernamentales al público.

El conjunto de datos de más de 44.500 volúmenes del sitio se utiliza para impulsar sitios web y aplicaciones para teléfonos inteligentes que rastrean todo, desde vuelos hasta retiros de productos y tasas de desempleo en áreas específicas, un esfuerzo que ha inspirado esfuerzos de los gobiernos de Kenia para El Reino Unido ha lanzado sucesivamente medidas similares. En 2009, algunas de las bibliotecas de investigación e institutos de información científica más importantes de Europa formaron una asociación para mejorar el acceso a los datos científicos en Internet.

En febrero de 2010, Kenneth Cukier publicó un informe especial de 14 páginas sobre big data "Data, Ubiquitous Data" en The Economist. Cukor menciona en el informe: "Existe una cantidad inimaginable de información digital en el mundo y está creciendo a un ritmo extremadamente rápido.

Del mundo económico al mundo científico, del sector político al Las artes El impacto de esta enorme cantidad de información se ha sentido en muchos campos. Los científicos e ingenieros informáticos han acuñado un nuevo término para este fenómeno: "big data".

Cukor también se convirtió en una de las primeras ideas. Los científicos de datos de moda en la era del big data En febrero de 2011, la supercomputadora Watson de IBM podía escanear y analizar 4 TB (alrededor de 200 millones de páginas de texto) por segundo, y apareció en el famoso programa de televisión estadounidense "Jeopardy". dos concursantes humanos en Jeopardy

Más tarde, *** consideró este momento como una "victoria de la informática de big data". " En mayo del mismo año, el McKinsey Global Institute (MGI) de la consultora de renombre mundial McKinsey & Pany publicó un informe: "Big Data: la próxima nueva área de innovación, competencia y productividad", y Big Data comenzó a Prepárese. Esta es también la primera introducción y perspectiva integral sobre big data realizada por una organización profesional.

El informe señala que el big data ha penetrado en todas las industrias y áreas de funciones comerciales en la actualidad y se ha convertido en un factor importante. La extracción y aplicación de datos masivos presagia la llegada de una nueva ola de crecimiento de la productividad y excedente del consumidor.

El informe también menciona que los "grandes datos" surgen de la capacidad y la velocidad de producción y recopilación de datos. Mejora sustancial: a medida que más y más personas, dispositivos y sensores se conectan a través de redes digitales, la capacidad de generar, transmitir, compartir y acceder a datos también se ha transformado por completo. En diciembre de 2011, el Ministerio de Industria y Tecnología de la Información publicó el día 12. Plan Quinquenal para Internet de las Cosas En Internet, la tecnología de procesamiento de información se propuso como uno de los cuatro proyectos clave de innovación tecnológica, incluido el almacenamiento masivo de datos, la extracción de datos y el análisis inteligente de imágenes y videos, todos ellos componentes importantes. big data.

En enero de 2012, en el Foro Económico Mundial celebrado en Davos, Suiza, big data fue uno de los temas. El informe "Big Data, Big Impact" publicado en la reunión declaró que los datos han. convertirse en una nueva clase de activo económico, como la moneda o el oro. En marzo de 2012, el presidente Obama publicó la "Iniciativa de investigación y desarrollo de big data" en el sitio web de la Casa Blanca. Esta iniciativa marcó que los big data se han convertido en una característica importante de los tiempos. .

El 22 de marzo de 2012, Obama anunció una inversión de 200 millones de dólares en el campo de big data, lo que marcó un hito para que la tecnología de big data pasara de ser una práctica comercial a una estrategia nacional de ciencia y tecnología. En una conferencia telefónica al día siguiente, *** define los datos como "el nuevo petróleo del futuro", y la competencia en el campo de la tecnología de big data está relacionada con la seguridad nacional y el futuro, y dijo que la competitividad a nivel nacional se reflejará en parte en la escala, actividad y actividad de los datos de un país. La capacidad de interpretar y aplicar la seguridad digital nacional refleja la posesión y el control de los datos.

La seguridad digital será otro espacio para el gran poder. competencia en 2012, después de la defensa fronteriza, la defensa costera y la defensa aérea En abril, la empresa de software estadounidense Splunk cotizó con éxito en Nasdaq el día 19, convirtiéndose en la primera empresa de procesamiento de big data en cotizar. En vista de la continua lentitud de la economía estadounidense y la continua volatilidad del mercado de valores, Splunk El excelente desempeño comercial del primer día fue particularmente impresionante: las acciones se duplicaron con creces el primer día. proporciona servicios de análisis y monitoreo de big data.

La exitosa cotización de Splunk ha promovido la atención del mercado de capitales a big data y también ha impulsado a los fabricantes de TI a acelerar su implementación de big data.

En julio de 2012, las Naciones Unidas publicaron en Nueva York un libro blanco sobre big data en los asuntos gubernamentales, en el que se resume cómo los gobiernos de varios países pueden utilizar big data para servir y proteger mejor a las personas.

Este documento técnico ilustra las funciones, motivaciones y necesidades de los individuos, el sector público y el sector privado en un ecosistema de datos: por ejemplo, a través de las preocupaciones sobre los precios y el deseo de mejores servicios, los individuos proporcionan datos y colaboran mediante crowdsourcing. información y ocultarla. 3. Los antecedentes de la era del big data

En 2012, el término big data (big data) se mencionó cada vez más y la gente lo utilizó para describir y definir los datos masivos generados en la era del big data. explosión de información y nombrar los desarrollos tecnológicos y las innovaciones relacionadas con ella.

Apareció en la portada de las columnas de "***" y "The Wall Street Journal", apareció en las noticias en el sitio web oficial de la Casa Blanca, apareció en algunos salones de conferencias nacionales con temas de Internet, e incluso fue mencionado por la Corporación Financiera Nacional con un agudo olfato. Se han incluido valores, Guotai Junan, Galaxy Securities, etc. en informes de recomendación de inversiones. Los datos se están expandiendo y creciendo rápidamente, lo que determina el desarrollo futuro de las empresas. Aunque muchas empresas pueden no ser conscientes de los peligros ocultos causados ​​por el crecimiento explosivo de los datos, a medida que pasa el tiempo, la gente se volverá cada vez más consciente de los datos. importancia para el negocio.

Como afirmaba una columna en "***" en febrero de 2012, la era del "big data" ha llegado en los negocios, la economía y otros campos, las decisiones se basarán cada vez más en datos y análisis. en lugar de basarse en la experiencia y la intuición. Gary King, profesor de sociología de la Universidad de Harvard, dijo: "Esto es una revolución. Los enormes recursos de datos han permitido que varios campos comiencen un proceso cuantitativo. Ya sea el mundo académico, empresarial o gubernamental, todos los campos comenzarán este proceso". p>

. 4. ¿Qué significa la era del big data?

La era del big data: McKinsey, una consultora de renombre mundial, fue la primera en proponer que la era del big data se ha utilizado ampliamente. En campos como la física, la biología, la ecología ambiental y el ejército, industrias como las finanzas y las comunicaciones existen desde hace mucho tiempo, pero han atraído la atención de la gente debido al desarrollo de Internet y las industrias de la información en los últimos años.

Antecedentes de la propuesta de big data: En 2012, el término big data (big data) se ha mencionado cada vez más para describir y definir los datos masivos generados en la era de la explosión de la información. , y Nombrar los desarrollos tecnológicos y las innovaciones asociadas al mismo. Ha aparecido en la portada de las columnas de "News" y "The Wall Street Journal", apareció en las noticias del sitio web oficial de la Casa Blanca en los Estados Unidos, apareció en algunos salones de conferencias nacionales con temas de Internet e incluso fue utilizado. por empresas sensibles como Guojin Securities, Guotai Junan, Galaxy Securities, etc. Escrito en un informe de recomendación de inversión.

Los datos se están expandiendo y creciendo rápidamente, lo que determina el desarrollo futuro de las empresas. Aunque muchas empresas pueden no ser conscientes de los peligros ocultos causados ​​por el crecimiento explosivo de los datos, a medida que pasa el tiempo, las personas se volverán más grandes. Cada vez más conscientes de los problemas. Cada vez más personas son conscientes de la importancia de los datos para las empresas. Como decía una columna en "***" en febrero de 2012, la era del "big data" ha llegado en los negocios, la economía y otros campos, las decisiones se tomarán cada vez más basándose en datos y análisis, en lugar de en la experiencia y la intuición.

Gary King, profesor de sociología en la Universidad de Harvard, dijo: "Esto es una revolución. Enormes recursos de datos han permitido que varios campos comiencen el proceso de cuantificación. Independientemente de la academia, las empresas o el gobierno, todos los campos Inicie este proceso. "Información ampliada El impacto de los grandes datos La sociedad actual es una sociedad en rápido desarrollo, con tecnología avanzada y circulación de información, la comunicación de las personas es cada vez más estrecha y la vida se vuelve cada vez más conveniente. Los grandes datos son esta alta tecnología. Un producto de la época.

Con la llegada de la era de la nube, el big data (Big data) también ha atraído cada vez más atención. Los macrodatos se utilizan a menudo para describir las grandes cantidades de datos no estructurados y semiestructurados creados por una empresa que llevaría demasiado tiempo y dinero descargarlos en una base de datos relacional para su análisis.

El análisis de big data a menudo se asocia con la computación en la nube porque el análisis en tiempo real de grandes conjuntos de datos requiere un marco como MapReduce para distribuir el trabajo a decenas, cientos o incluso miles de computadoras.

En la sociedad actual, la aplicación de big data está demostrando cada vez más sus ventajas y ocupa cada vez más campos, como el comercio electrónico, O2O, logística y distribución, etc. Varios campos que utilizan big data para el desarrollo están ayudando a las empresas a continuar desarrollar Desarrollar nuevos negocios e innovar modelos operativos.

Con el concepto de big data, se han mejorado y optimizado integralmente el juicio sobre el comportamiento del consumidor, la previsión de ventas de productos, el alcance preciso del marketing y la reposición de inventario. "Big data" en la industria de Internet se refiere al fenómeno de los datos de comportamiento de los usuarios en la red generados y acumulados por las empresas de Internet en las operaciones diarias.

La escala de estos datos es tan enorme que no se puede medir mediante G o T. ¿Qué tan grandes son los grandes datos? Un conjunto de datos llamado "Un día en Internet" nos dice que en un día, todo el contenido generado por Internet se puede grabar en 168 millones de DVD y se envían hasta 294 mil millones de correos electrónicos (equivalente a dos años de papel); cartas en los Estados Unidos) cantidad).

Se enviaron dos millones de posts comunitarios (equivalente a 770 años de texto en la revista Time); se vendieron 378.000 teléfonos móviles, cifra superior a los 371.000 bebés que nacen cada día en el mundo... En 2012, la cantidad de datos saltó del nivel TB (1024GB=1TB) al nivel PB (1024TB=1PB) EB (1024PB=1EB) e incluso ZB (1024EB=1ZB). Los resultados de la investigación de la Corporación Internacional de Datos (IDC) muestran que la cantidad de datos generados a nivel mundial en 2008 fue de 0,49 ZB, en 2009 la cantidad de datos fue de 0,8 ZB, en 2010 aumentó a 1,2 ZB y en 2011 la cantidad fue tan alta. como 1.82ZB, equivalente a Cada persona en el mundo genera más de 200GB de datos.

A partir de 2012, el volumen de datos de todos los materiales impresos producidos por humanos es de 200 PB, y el volumen de datos de todas las palabras pronunciadas por la humanidad en la historia es de aproximadamente 5 EB. La investigación de IBM afirma que el 90% de todos los datos obtenidos por la civilización humana se generaron en los últimos dos años.

En 2020, la escala de datos generados en el mundo alcanzará 44 veces la de hoy. Cada día se suben más de 500 millones de imágenes en todo el mundo y cada minuto se comparten 20 horas de vídeo.

Sin embargo, incluso toda la información que la gente crea todos los días (todas las comunicaciones, incluidas las llamadas de voz, los correos electrónicos y los mensajes, así como todas las imágenes, vídeos y música subidos) no pueden igualar la cantidad de información. de información digital sobre las propias personas que se crea cada día. Esta tendencia continuará.

Aún estamos en las primeras etapas del llamado "Internet de las cosas", pero a medida que la tecnología madure, nuestros dispositivos, vehículos y la tecnología "portátil" en rápido desarrollo podrán conectarse y comunicarse con entre sí. Los avances en tecnología han reducido el costo de crear, capturar y administrar información a una sexta parte de lo que era en 2005, mientras que la inversión empresarial en hardware, software, talento y servicios ha aumentado en un 50% desde 2005. alcanzó los 400 mil millones de dólares.

La esencia del big data El big data nos trae tres cambios conceptuales disruptivos: son todo datos, no muestreo aleatorio, es dirección general, no guía precisa, es correlación, no causalidad; R. No una muestra aleatoria, sino todos los datos: en la era del big data, podemos analizar más datos y, a veces, incluso podemos procesar todos los datos relacionados con un fenómeno especial, en lugar de depender del muestreo aleatorio (muestreo aleatorio, En el pasado, normalmente tomábamos esto como una limitación natural, pero la tecnología digital de alto rendimiento nos hizo darnos cuenta de que en realidad se trata de una limitación artificial. B. No precisión, sino confusión: hay tantos datos de investigación, por lo que estamos); Ya no estábamos interesados ​​en buscar la precisión; antes, había pocos datos para analizar, por lo que teníamos que cuantificar nuestros registros con la mayor precisión posible. A medida que aumenta la escala, la obsesión por la precisión se debilitará y ya no la necesitaremos; hasta el fondo de un fenómeno, siempre y cuando comprendamos la dirección general del desarrollo.

Ignorar adecuadamente la precisión a nivel micro nos dará mejores conocimientos a nivel macro; C. No causalidad, sino correlación: ya no estamos interesados ​​en encontrar causalidad, buscar la causalidad es una tarea de larga data. hábito de los seres humanos.

5. Por qué el big data es tan importante

El big data es una infraestructura moderna en la nube que incluye una variedad de formas de conectarse y compartir información con otras personas. Promueve el desarrollo del "Internet de las cosas", como conectar a las personas a través de sitios de redes sociales y encontrar la posibilidad de que las personas se conozcan compartiendo amigos o a través de Internet. La inteligencia artificial se ejecuta detrás de big data y es completamente transparente para la mayoría de las personas. La gente no sabe que existe esa tecnología detrás. Detrás de los teléfonos inteligentes que la gente utiliza todos los días se encuentran los macrodatos, y luego la gente aporta información a Internet móvil a través de ellos, incluso si no son conscientes de ello.

¿Por qué es tan importante el big data?

En primer lugar, el procesamiento y análisis de big data se está convirtiendo en el nodo de la nueva generación de integración y aplicación de tecnologías de la información. Internet móvil, Internet de las cosas, redes sociales, hogares digitales, comercio electrónico, etc. son las formas de aplicación de la nueva generación de tecnologías de la información, y estas aplicaciones siguen generando big data. La computación en la nube proporciona plataformas informáticas y de almacenamiento para estos big data masivos y diversos. A través de la gestión, procesamiento, análisis y optimización de datos de diferentes fuentes, y la retroalimentación de los resultados a las aplicaciones mencionadas, se creará un enorme valor económico y social.

En segundo lugar, el big data es el nuevo motor del crecimiento rápido y sostenido de la industria de la información. Seguirán surgiendo nuevas tecnologías, nuevos productos, nuevos servicios y nuevos formatos comerciales para el mercado de big data. En el campo del hardware y los equipos integrados, los big data tendrán un impacto importante en las industrias de chips y almacenamiento, y también darán lugar a servidores integrados de almacenamiento y procesamiento de datos, computación en memoria y otros mercados. En el campo del software y los servicios, los macrodatos desencadenarán el desarrollo de procesamiento y análisis rápidos de datos, tecnología de extracción de datos y productos de software.

En tercer lugar, la utilización de big data se convertirá en un factor clave para mejorar la competitividad central. La toma de decisiones en todos los ámbitos de la vida está cambiando de "impulsada por los negocios" a "basada en datos".

Resumen

Cuando llegue la era del big data, debemos utilizar el pensamiento de big data para explorar el valor potencial de big data. La importancia de big data no es dominar una gran cantidad de información de datos, sino procesar profesionalmente estos datos significativos. En el pasado, los datos que conocíamos estaban fríos y sin vida, almacenados en copias de seguridad frías y esperando silenciosamente a que la gente los sacara y los usara. Teníamos una actitud muy negativa hacia los datos y teníamos que pensar claramente en su uso antes de comenzar. analizarlo y aplicarlo. Ahora, la era de los datos está aquí y la gente está tratando de activar los datos, calentarlos y darles vida. Los llamados "datos vivos" son datos dinámicos. Los datos que circulan se generan debido a la interacción y la interacción debido a la generación. Son datos que evolucionan naturalmente. Necesitamos utilizar el pensamiento de big data para considerar cómo estos datos pueden generar beneficios. Las perspectivas de desarrollo futuro de big data son muy buenas y las ocupaciones relacionadas con big data, como mineros de datos, analistas de datos, etc., definitivamente tendrán un amplio margen de desarrollo. 6. Cómo implementar el archivado de datos históricos para bases de datos de gran volumen

La pregunta es la siguiente:

En primer lugar, debes dejar claro que tu inserción es un negocio normal. ¿requisito? Si es así, sólo se puede aceptar esta cantidad de inserción de datos.

En segundo lugar, dijo que el inventario de datos ya no está disponible, por lo que puede aumentar el límite superior de su base de datos. Puede configurar el atributo de archivo de base de datos maxsize en la base de datos. Finalmente, existe un método que se puede utilizar si sus datos históricos no tendrán un gran impacto en el negocio actual, puede considerar archivar y mover periódicamente los datos no utilizados a una tabla histórica u otra base de datos.

Presta atención al mantenimiento diario de la base de datos y desfragmenta el índice periódicamente