¿Qué es lo más importante en la era del big data?
Con la llegada de la era de la nube, el big data (Big data) también ha atraído cada vez más atención. El equipo de analistas de "Zhuyuntai" cree que big data (Big data) se utiliza generalmente para describir la gran cantidad de datos no estructurados y semiestructurados creados por una empresa. Estos datos tardarán mucho en descargarse en una base de datos relacional. Análisis. Más tiempo y dinero. El análisis de big data a menudo se asocia con la computación en la nube porque el análisis en tiempo real de grandes conjuntos de datos requiere marcos como MapReduce para distribuir el trabajo a decenas, cientos o incluso miles de computadoras.
En resumen, la capacidad de obtener rápidamente información valiosa a partir de varios tipos de datos es la tecnología big data. Comprender esto es fundamental y es lo que impulsa el potencial de esta tecnología para llegar a tantas empresas. Las cuatro "V" o características del big data tienen cuatro niveles: Primero, el volumen de datos es enorme. Desde el nivel TB hasta el nivel PB; en segundo lugar, existen muchos tipos de datos. Los registros web, vídeos, imágenes, información de ubicación geográfica, etc. mencionados anteriormente. En tercer lugar, la densidad de valor es baja. Tomando el vídeo como ejemplo, durante el monitoreo continuo e ininterrumpido, los datos potencialmente útiles son solo uno o dos segundos. Cuarto, la velocidad de procesamiento es rápida. Regla de 1 segundo. Este último punto también es fundamentalmente diferente de la tecnología tradicional de minería de datos
. La industria lo resume en cuatro "V": volumen, variedad, valor y velocidad. El Internet de las cosas, la computación en la nube, el Internet móvil, el Internet de los vehículos, los teléfonos móviles, las tabletas, las PC y varios sensores repartidos por todos los rincones de la tierra son fuentes de datos o métodos de transporte que influyen en el PTZ.
Los ejemplos incluyen blogs, RFID, redes de sensores, redes sociales, datos sociales (gracias a la revolución de los datos en la sociedad), índices de búsqueda de textos y archivos de Internet, astronomía, ciencias atmosféricas, genómica, biogeoquímica, biología y otros; investigaciones científicas complejas y/o interdisciplinarias, reconocimiento militar, registros médicos; archivos fotográficos, archivos de vídeo y comercio electrónico a gran escala;
Los datos de gran tamaño requieren técnicas especiales para manejar eficientemente grandes cantidades de datos durante un período de tiempo tolerable. Las tecnologías aplicables a big data incluyen bases de datos de procesamiento masivo paralelo (MPP), redes de minería de datos, sistemas de archivos distribuidos, bases de datos distribuidas, plataformas de computación en la nube, Internet y sistemas de almacenamiento escalables.
Algunas, pero no todas, las bases de datos relacionales MPP tienen la capacidad de almacenar y administrar petabytes de datos. Carga implícita, monitoreo, respaldo y optimización de grandes tablas de datos para su uso en RDBMS.
El Sloan Digital Sky Survey recopiló más datos en sus primeras semanas que en toda la historia de la astronomía, que se remonta al año 2000. Desde entonces ha acumulado 140 terabytes de información. El sucesor de este telescopio, el Gran Telescopio de Rastreo Sinóptico, estará en línea en 2016 y adquirirá datos cada cinco días. Walmart procesa más de 1 millón de transacciones de clientes cada hora, importando a su vez aproximadamente 2,5 petabytes de datos a la base de datos. de 167 libros en la Biblioteca del Congreso.
FACEBOOK procesa 40 mil millones de fotografías de su base de usuarios. Decodificar el genoma humano original, cuyo procesamiento llevó 10 años, ahora se puede lograr en una semana.
El impacto del "big data" ha aumentado la demanda de expertos en gestión de la información, y Oracle, IBM, Microsoft y SAP han gastado más de 1.500 millones de dólares en software para la gestión y el análisis inteligente de datos por parte de empresas especializadas. La industria en sí vale más de 100 mil millones de dólares y está creciendo casi un 10% dos veces al año, lo que es casi tan rápido como el negocio del software en su conjunto. Los big data han surgido porque vivimos en una sociedad con más cosas. Hay 4.600 millones de usuarios de teléfonos móviles en todo el mundo y 100 millones de personas acceden a Internet.
Básicamente, las personas interactúan con datos o información más que nunca. Entre 1990 y 2005, más de 100 millones de personas en todo el mundo entraron en la clase media, lo que significa que cada vez más personas que ganan este dinero se volverán más alfabetizadas, lo que a su vez conduce a un crecimiento de la información.
Cisco predice que para 2013, la cantidad de tráfico que fluirá en Internet alcanzará los 667 exabytes por año.
La primera institución que plantea que la era del "big data" ha llegado es la mundialmente reconocida consultora McKinsey. McKinsey señaló en un informe de investigación que los datos han penetrado en todas las industrias y áreas funcionales comerciales y gradualmente se han convertido en un importante factor de producción y el uso masivo de datos presagiará la llegada de una nueva ola de crecimiento de la productividad y excedente del consumidor;
“Después de la publicación del informe de McKinsey, big data se convirtió rápidamente en un concepto popular en la industria informática y atrajo gran atención de la comunidad financiera. Con el desarrollo continuo de la tecnología de Internet, los datos en sí son un activo. Esto se ha convertido en un conocimiento común en la industria. “Si la computación en la nube proporciona un lugar y un canal para el almacenamiento y el acceso a los activos de datos, entonces cómo revitalizar los activos de datos y ponerlos al servicio de la gobernanza nacional, la toma de decisiones corporativas e incluso la vida personal es la cuestión central de los big data y el aspecto inherente de la computación en la nube. Alma y dirección de actualización inevitable ”
De hecho, los gigantes globales de Internet se han dado cuenta de la importancia de los datos en la era del “big data”. Los gigantes globales de TI, incluidos EMC, HP (Weibo), IBM y Microsoft (Weibo), han implementado la integración tecnológica mediante la adquisición de proveedores relacionados con "big data", lo que también muestra su énfasis en "big data".
Como concepto relativamente nuevo, el gobierno chino aún no ha propuesto directamente "grandes datos" como un término adecuado para brindar apoyo político. Sin embargo, en el "Duodécimo Plan Quinquenal" para Internet de las Cosas publicado por el Ministerio de Industria y Tecnología de la Información el 8 de diciembre, la tecnología de procesamiento de información se propuso como uno de los cuatro proyectos clave de innovación tecnológica, incluido el almacenamiento masivo de datos, Minería, inteligencia de imágenes y vídeo El análisis es una parte importante del big data. Los otros tres proyectos clave de innovación tecnológica, incluida la tecnología de detección de información, la tecnología de transmisión de información y la tecnología de seguridad de la información, también están estrechamente relacionados con los "grandes datos".