Tecnología y aplicaciones de big data

Tecnología y aplicaciones de big data

Durante el último medio siglo, a medida que la tecnología informática se ha integrado plenamente en la vida social, la explosión de información se ha acumulado hasta un nivel que ha comenzado a desencadenar cambios. . El siglo XXI es una era de gran desarrollo de datos e información. Internet móvil, redes sociales, comercio electrónico, etc. han ampliado enormemente los límites y el alcance de las aplicaciones de Internet. Todo tipo de datos se están expandiendo y haciendo más grandes rápidamente. Internet (social, búsqueda, comercio electrónico), Internet móvil (Weibo), Internet de las cosas (sensores, tierra inteligente), Internet de los vehículos, GPS, imágenes médicas, monitoreo de seguridad, finanzas (banca, mercado de valores, seguros), telecomunicaciones (llamadas, SMS) están generando datos alocadamente. En mayo de 2011, en la conferencia EMC World 2011 con el tema "Cloud Computing Meets Big Data", EMC lanzó el concepto Big Data. Como afirmó una columna del New York Times en febrero de 2012, la era de los “grandes datos” ha llegado en los negocios, la economía y otros campos, las decisiones se tomarán cada vez más basándose en datos y análisis en lugar de en la experiencia y la intuición. ¿Gary, profesor de sociología de Harvard? Jin dijo: "Esto es una revolución. Los enormes recursos de datos han permitido que varios campos inicien un proceso cuantitativo. Ya sea el mundo académico, empresarial o gubernamental, todos los campos iniciarán este proceso".

2. Qué es big data

Big Data (Big Data) se refiere a datos que exceden las capacidades de procesamiento de los sistemas de bases de datos tradicionales. Sus requisitos de tamaño de datos y velocidad de transferencia son muy altos o su estructura no es adecuada para el sistema de base de datos original. Para sacarle valor a los big data, tenemos que elegir otra forma de procesarlos. Hay patrones e información valiosos ocultos en los datos, cuya extracción en el pasado requería un tiempo y un coste considerables. Empresas líderes como Walmart o Google tienen que pagar un alto precio para extraer información a partir de big data. Los diversos recursos actuales, como el hardware, la arquitectura de la nube y el software de código abierto, hacen que el procesamiento de big data sea más conveniente y económico. Incluso las empresas que empiezan en un garaje ahora pueden alquilar tiempo en la nube a un precio más bajo. Para las organizaciones empresariales, el valor del big data se refleja en dos aspectos: análisis y uso y desarrollo secundario. El análisis de big data puede revelar información oculta en ellos. Por ejemplo, en la industria minorista, el análisis de las ventas de las tiendas y de la información geográfica y social puede mejorar la comprensión del cliente. El desarrollo secundario de big data es la especialidad de las empresas de Internet de éxito. Por ejemplo, Facebook combina una gran cantidad de información del usuario para personalizar una experiencia de usuario altamente personalizada y crear un nuevo modelo publicitario. Esta práctica empresarial de crear nuevos productos y servicios a través de big data no es una coincidencia. Google, Yahoo, Amazon y Facebook son todos innovadores en la era de big data.

(1) Características 4V del big data

Volumen: las empresas se enfrentan a un crecimiento a gran escala en el volumen de datos. Por ejemplo, un informe reciente de IDC predice que el volumen global de datos se expandirá 50 veces para 2020. Actualmente, el tamaño de los big data es una métrica en constante cambio, con conjuntos de datos individuales que varían en tamaño desde decenas de terabytes hasta petabytes. En pocas palabras, almacenar 1 PB de datos requeriría 20.000 PC con discos duros de 50 GB. Además, los datos se pueden generar a partir de una variedad de fuentes inesperadas.

Variedad: una opinión común es que el uso que hacen las personas de las búsquedas en Internet es la principal causa de la diversidad de datos, y esta opinión es parcialmente correcta. Sin embargo, el aumento de la diversidad de datos se debe principalmente a nuevos tipos de datos multiestructurados y tipos de datos que incluyen registros web, redes sociales, búsquedas en Internet, registros de llamadas de teléfonos móviles y redes de sensores. Algunos de estos sensores están instalados en trenes, automóviles y aviones, y cada uno de ellos aumenta la diversidad de datos.

Velocidad: La velocidad describe la velocidad a la que se crean y mueven los datos. En la era de las redes de alta velocidad, se ha vuelto popular crear flujos de datos en tiempo real a través de procesadores y servidores de computadora de alta velocidad basados ​​en la optimización del rendimiento del software. Las empresas no solo necesitan saber cómo crear datos rápidamente, sino que también deben saber cómo procesarlos, analizarlos y devolverlos a los usuarios para satisfacer sus necesidades en tiempo real. Según una encuesta de IMS Research sobre la velocidad de creación de datos, se prevé que en 2020 habrá 22 mil millones de dispositivos conectados a Internet en todo el mundo.

Valor (Valor): Una gran cantidad de información irrelevante, pero es muy valiosa. Análisis predecible de tendencias y patrones futuros, análisis profundo y complejo (aprendizaje automático, inteligencia artificial versus inteligencia empresarial tradicional (consultoría, informes, etc.))

3. El impacto de la era del big data en vida y trabajo

Big data, además de su impacto económico, también puede tener un profundo impacto en la política, la cultura, etc. Big data puede ayudar a las personas a iniciar un modelo de gestión "numérico", que también es nuestro "Gran sociedad" actual La expresión concentrada de "tres puntos de tecnología, siete puntos de datos, y aquellos que obtengan los datos ganarán el mundo".

La influencia de los "grandes datos" ha aumentado la demanda. Para los expertos en gestión de la información, de hecho, la influencia de big data no se limita solo a la industria de la información y las comunicaciones, sino que está "comiendo" y reestructurando muchas industrias tradicionales. Las operaciones son esencialmente empresas de datos, como McDonald's, KFC y las tiendas insignia de Apple. Todas se basan en una selección de ubicación precisa basada en el análisis de datos. En la industria minorista, las tecnologías y métodos de análisis de datos se utilizan ampliamente. Mart remodela y optimiza las cadenas de suministro a través de la minería de datos, y las empresas emergentes utilizan la minería de datos para remodelar y optimizar las cadenas de suministro. Las empresas de comercio electrónico como Joyo, Taobao, etc. brindan a los usuarios servicios más profesionales y personalizados al dominar y analizar cantidades masivas. de datos.

En términos de privacidad personal, big data a menudo contiene una gran cantidad de datos. El potencial detallado para mostrar información sobre nosotros ha aumentado gradualmente nuestra preocupación sobre la privacidad personal de algunas empresas que se ocupan de big data. Por ejemplo, uno de los más impresionantes es Tian Rui Information. Los científicos sugieren que no debemos simplemente obedecer las cuestiones legales de protección de la privacidad. Estas están lejos de ser suficientes. Las empresas deberían cumplir con el principio de no hacer el mal. , e incluso hacer esfuerzos más activos.

IV , la dirección de desarrollo y las tendencias de la era del big data

Según la Encuesta internacional de información comercial electrónica del ESM sobre el estado y las tendencias de aplicaciones de big data en 2013, las tecnologías de big data que más preocupan a los encuestados se encuentran entre las cinco principales: análisis de big data (12,91%), base de datos en la nube (11,82%), Hadoop (11,73%) y base de datos en memoria. (11,64%) y la seguridad de los datos (9,21%). Hadoop ya no es la única tecnología importante en la mente de las personas, y el análisis de big data se ha convertido en la tecnología que más preocupa a la gente. Profundizado, se presta cada vez más atención a los puntos técnicos. Dado que el análisis de big data es la tendencia tecnológica más preocupante, ¿cuál es la función más importante en el análisis de big data? Las funciones son análisis en tiempo real (21,32%), modelos de minería enriquecidos (17,97%) e interfaces visuales (15,91%). Una encuesta similar se realizó en 2012, cuando los modelos de minería enriquecidos (27,22%) fueron elegidos un 7,34% más que los reales. -Análisis en tiempo (19,88%). En solo un año, la demanda de análisis en tiempo real entre las empresas ha aumentado, lo que ha creado muchos proveedores de big data que utilizan el análisis en tiempo real como tecnología innovadora. De los resultados de la encuesta se puede ver que las empresas tienen una necesidad urgente de implementar big data en los próximos uno o dos años, y la construcción de infraestructura inicial se ha convertido gradualmente en una necesidad de análisis de big data y soluciones generales de big data. Al mismo tiempo, big data también enfrenta el desafío de la falta de talentos. Las empresas y las universidades deben unir fuerzas para cultivar talentos compuestos en el campo de los datos para ayudar a las empresas a ganar esta "guerra de datos".

5. Aplicación de big data

(1) Expansor de la industria, construyendo la piedra angular de la industria de big data

IBM: Los servicios proporcionados por IBM big data incluyen análisis de datos, análisis de texto, Blue Spruce (una plataforma de red para la colaboración impulsada por mashup; servicios de medición, monitoreo y comercialización (MMMS) de IBM Mashup Center; InfoSphere bigInsights, la última familia de productos del portafolio de big data de IBM, se basa en Apache Hadoop.

La cartera de productos incluye: software y servicios Apache Hadoop empaquetados, con nombre en código bigInsights Core, para iniciar el análisis de big data.

El software se llama bigsheet. El propósito del software es ayudar a extraer y anotar información relevante de grandes cantidades de datos de manera fácil, simple e intuitiva. Es una solución industrial diseñada para finanzas, gestión de riesgos, medios y entretenimiento y otras industrias.

Microsoft: En enero de 2011, cooperó con HP (en concreto, con la División de Aplicaciones Integradas de Bases de Datos de HP) para desarrollar una serie de dispositivos que pueden mejorar la productividad y acelerar la toma de decisiones.

EMC: EMC ha adquirido la Bolsa de Nueva York y el Nasdaq; sus soluciones de big data incluyen más de 40 productos.

Oracle: Oracle Big Data Appliance, junto con Oracle Exalogic Middleware Cloud Server, Oracle Exadata Database Machine Cloud Server y Oracle Exalytics Business Intelligence Cloud Server, forman la cartera de productos de sistemas más extensa y altamente integrada de Oracle.

(2) Big data promueve la transformación de las funciones gubernamentales

Preste atención a la aplicación de la tecnología de big data y revitalice los activos de los centros de computación en la nube en varios lugares: transforme los grandes originales -Los parques industriales de inversión a escala y los parques industriales de Internet de las cosas de los proyectos Achievement se transforman en proyectos inteligentes en el campo de la seguridad, y se aplica la tecnología de big data para mejorar las capacidades de respuesta a emergencias y las capacidades de prevención de seguridad en el campo de los medios de vida de las personas; la tecnología se aplica para mejorar las capacidades de servicio y la eficiencia operativa, así como los servicios personalizados, como atención médica, salud, educación y otros departamentos para resolver el problema del análisis de datos en los campos de finanzas, telecomunicaciones, etc.: siempre ha recibido una gran recepción; atención, pero se limita al análisis estadístico de datos de transacciones debido a limitaciones de capacidad de almacenamiento y potencia informática. Por un lado, la aplicación de big data promueve la transformación de las funciones gubernamentales; por otro, la inversión gubernamental creará un efecto de demostración y promoverá en gran medida el desarrollo de big data;

(3) Construir una “Ciudad Inteligente”

La administración Obama en Estados Unidos publicó la “Iniciativa de Investigación y Desarrollo de Big Data” en el sitio web de la Casa Blanca, proponiendo “recopilar y procesar información de datos grande y compleja, adquirir conocimientos y perspectivas, mejorar las capacidades, acelerar el ritmo de la innovación en los campos de la ciencia y la ingeniería, fortalecer la seguridad nacional de Estados Unidos y transformar los modelos de educación y aprendizaje". Wu Hequan, académico de los chinos. Academia de Ingeniería, dijo: "Las ciudades inteligentes son la base clave para utilizar la tecnología informática inteligente para hacer que la composición y los servicios de las ciudades sean más inteligentes, interconectados y eficaces. Con la construcción de ciudades inteligentes, la sociedad entrará en los "grandes datos". era. ”

(4) El futuro lo cambiará todo