¿Cuál es la relación entre big data y computación en la nube? ¿Cuáles son las diferencias y conexiones entre big data y computación en la nube?

Big data es la aplicación asesina de la computación en la nube

La relación entre big data y la computación en la nube ha causado cierta confusión. Para facilitar la discusión sobre la relación entre los dos, comenzaremos con la relación histórica entre "computación" y "datos". Debido a que la computación en la nube es primero un tipo de "informática", los big data son primero un tipo de "datos" y las computadoras se utilizan para "calcular" "datos".

El ordenador es un dispositivo electrónico definido por software (programable) que separa software y hardware. Una cuestión importante en el diseño de computadoras es cómo administrar eficazmente los recursos de hardware, como CPU, memoria y E/S, y cómo permitir que las aplicaciones utilicen estos recursos de manera adecuada. Estas dos tareas principales se integraron inicialmente en varias aplicaciones y las propias aplicaciones las completaron. Las desventajas eran laboriosas, complejas y propensas a errores, difíciles de actualizar y trasplantar, y duplicación de esfuerzos.

En la década de 1960, estas funciones secundarias comenzaron a separarse de las aplicaciones y gradualmente formaron un paquete de software común, que era el sistema operativo. El sistema operativo es el "middleware" entre el hardware y las aplicaciones. Permite separar y desarrollar el software de la aplicación y el hardware de forma independiente, y gradualmente se convierte en el software central del sistema informático, logrando la gloria de Microsoft.

Los sistemas operativos modernos comunes con UNIX como creador incluyen Android, BSD, iOS, Linux, MacOSX, QNX, etc., así como el Microsoft Windows, WindowsPhone y z/OS de IBM originales. El alcance del sistema operativo también se ha ampliado desde la computadora original a teléfonos móviles, controladores de juegos, televisores, decodificadores, automóviles inteligentes y teléfonos inteligentes, así como servidores web estrechamente relacionados con la computación en la nube.

En la década de 1970, el rápido desarrollo de las computadoras condujo a la proliferación de datos digitales, y la gestión de datos "masivos" se convirtió en un nuevo desafío. Cuando se utiliza la gestión de archivos de un sistema operativo general para la gestión de datos, ni la escalabilidad, ni la eficiencia ni la conveniencia pueden adaptarse a la gestión de datos "masivos", y el software de la aplicación tiene que incorporar su propio sistema de gestión de datos diseñado. De manera similar, los datos "masivos" son administrados por cada software de aplicación, lo que tiene las desventajas de ser laborioso, complejo, propenso a errores, difícil de actualizar y trasplantar, y un trabajo repetitivo.

Como resultado, surgió un software de uso general especialmente utilizado para la gestión de datos "masivos". Se trata de un sistema de gestión de bases de datos (DBMS), una especie de software de sistema de aplicación. DBMS incluye definición, creación, consulta, actualización y administración de bases de datos, etc. Todos estos son necesarios para la administración de datos y no están disponibles en el sistema de administración de archivos del sistema operativo.

Los DBMS famosos incluyen MySQL, PostgreSQL, SQLite, MicrosoftSQLServer, MicrosoftAess, Oracle, Sybase, dBASE, FoxPro e IBMDB2, etc. Todos son DBMS relacionales. Por supuesto, existen modelos NoSQL no relacionales, pero no son tan populares.

DBMS, junto con el software de procesamiento de textos, se ha convertido en el software de aplicación más importante en la era independiente y también ha creado una gran empresa de software de aplicaciones: Oracle. Hace aproximadamente menos de 20 años, la tecnología y las perspectivas de mercado para los sistemas operativos y las bases de datos parecían muy predecibles. Hace aproximadamente menos de 20 años, el panorama tecnológico y de mercado para los sistemas operativos y bases de datos parecía muy predecible: uno era el mundo de Microsoft y el otro el mundo de Oracle.

Pero luego llegó Internet, y sobre todo Internet se hizo popular.

Los servidores de red utilizan sistemas operativos que fueron diseñados originalmente para máquinas independientes y se vuelven casi inutilizables cuando se escalan para administrar múltiples servidores en una red de área local (LAN). Pero cuando los gigantes de Internet surgieron y necesitaron un sistema operativo de servidor web para administrar millones de servidores web, el sistema operativo tradicional quedó indefenso y necesitó una "revolución técnica".

El resultado de esta "revolución" es la computación en la nube.

La computación en la nube tiene muchos conceptos y una de las tecnologías centrales es la virtualización. Hay dos modos de virtualización: "1 virtual N" y "N virtual 1". El primero es principalmente para ahorrar dinero, representado por Amazon AWS; el segundo es principalmente para el procesamiento de big data, representado por Google GAE.

El modo "N virtual 1" de computación en la nube puede virtualizar múltiples computadoras físicas en una supercomputadora, proporcionando programación y administración de grupos de recursos para aplicaciones. Esta función es casi la misma que la de un sistema operativo tradicional. Por lo tanto, a menudo se lo denomina "sistema operativo de computación en la nube". A menudo se lo denomina "sistema operativo de computación en la nube". Lo que pasa es que el alcance de los sistemas operativos de computación en la nube se ha expandido a los centros de datos e incluso a todo Internet, tratando y administrando así cada computadora como un recurso.

A través del sistema operativo de computación en la nube, el software y el hardware de las aplicaciones en la nube (recursos informáticos) se pueden separar y desarrollar de forma independiente. Con el rápido desarrollo de la computación en la nube y las redes sociales, Weibo, Internet móvil, Internet de las cosas, etc., la historia se repite nuevamente. Con el crecimiento explosivo de los datos con características de 3V, el desafío de la gestión de big data surge primero. Del mismo modo, los sistemas operativos de computación en la nube de uso general diseñados para la informática enfrentan nuevos desafíos en términos de escalabilidad, eficiencia y conveniencia de la gestión de big data.

Históricamente, las computadoras enfrentaron el desafío de los datos "masivos" y separaron la aplicación y la gestión de datos, dando lugar a los DBMS de propósito general. Ahora, la computación en la nube se enfrenta al desafío de los grandes datos, que inevitablemente conducirá a la separación de las aplicaciones de grandes datos y la gestión de grandes datos, producirá un "gran sistema de gestión de bases de datos" (DBMS) y avanzará gradualmente hacia la generalización. ", y avanzar gradualmente hacia la generalización y la plataforma.

ATM (modo de transmisión asíncrona) es un producto de la era de los recursos de comunicación escasos, mientras que TCP/IP es el producto de la era de los recursos de comunicación abundantes. De manera similar , DBMS tradicional es un producto de TI de la era de la escasez de recursos, mientras que el sistema de gestión de big data es el producto de la era de los recursos de TI abundantes

La informática es una herramienta y un producto de la industrialización; los datos son un recurso y un activo personalizado. Los juegos son las aplicaciones asesinas de las PC, los navegadores, las búsquedas, las redes sociales, etc. son las aplicaciones asesinas de Internet, y los big data son las aplicaciones asesinas de la computación en la nube.