¿Cuál es la relación entre big data, computación en la nube e Internet de las cosas?

Descripción general de la Computación en la Nube y Big Data

La Computación en la Nube es el modelo de adición, uso y entrega de servicios relacionados basados ​​en Internet, que generalmente implica el suministro de recursos dinámicos, escalables y, a menudo, virtualizados. . La nube es una metáfora de la red y de Internet. En el pasado, la nube se usaba a menudo para representar redes de telecomunicaciones en diagramas y, más tarde, también se usó para representar la abstracción de Internet y la infraestructura subyacente. La computación en la nube en sentido estricto se refiere al modelo de entrega y uso de la infraestructura de TI, que se refiere a la obtención de los recursos necesarios a través de la red de manera bajo demanda y fácilmente escalable; en el sentido amplio, la computación en la nube se refiere al modelo de entrega y uso; de servicios, que se refiere a la forma bajo demanda y fácilmente escalable a través de la red para obtener los servicios que necesita. Dichos servicios pueden ser servicios de TI, software, relacionados con Internet u otros servicios. Significa que la potencia informática también puede circular como mercancía a través de Internet.

Big data, o datos masivos, se refiere a la cantidad de datos involucrados que es tan grande que no se puede capturar, administrar, procesar y procesar en un tiempo razonable a través de las herramientas de software convencionales. en información que ayuda a las empresas a tomar decisiones comerciales más positivas. Las características de 4V del big data: volumen, velocidad, variedad y veracidad.

Técnicamente, la relación entre big data y computación en la nube es tan inseparable como las dos caras de una misma moneda. Los big data no pueden ser procesados ​​por una sola computadora y se debe utilizar una arquitectura informática distribuida. Su característica radica en la extracción masiva de datos, pero debe depender del procesamiento distribuido, la base de datos distribuida, el almacenamiento en la nube y la tecnología de virtualización de la computación en la nube.

Gestión de big data, sistemas de archivos distribuidos, como Hadoop, segmentación de datos Mapreduce y ejecución de acceso, soporte SQL, soporte de interfaz SQL representado por Hive + HADOOP, utilizando computación en la nube en tecnología de big data; La construcción de almacenes de datos de próxima generación se ha convertido en un tema candente. Desde la perspectiva de los requisitos del sistema, la arquitectura de big data plantea nuevos desafíos al sistema:

1. Un chasis estándar completa una tarea específica en la mayor medida posible.

2. La configuración es más razonable y la velocidad es más rápida. El diseño equilibrado de almacenamiento, controlador, canal de E/S, memoria, CPU y red, y el diseño óptimo para el acceso al almacén de datos, son más de un orden de magnitud superiores a las plataformas similares tradicionales.

3. Menor consumo energético general. Para las mismas tareas informáticas, el consumo de energía es el más bajo.

4. El sistema es más estable y confiable. Puede eliminar varios puntos únicos de falla y unificar la calidad y los estándares de un componente o dispositivo.

5. Bajos costes de gestión y mantenimiento. La gestión rutinaria de las recopilaciones de datos está totalmente integrada.

6. Hoja de ruta de ampliación y actualización del sistema planificable y previsible.

La relación entre la computación en la nube y el big data

En pocas palabras: la computación en la nube es la virtualización de recursos de hardware, mientras que el big data es el procesamiento eficiente de datos masivos. Aunque esta explicación no es del todo apropiada, puede ayudar a las personas que no entienden los dos nombres a comprender rápidamente la diferencia. Por supuesto, si la explicación es más vívida, la computación en la nube es equivalente a nuestras computadoras y sistemas operativos, que virtualizan una gran cantidad de recursos de hardware y luego los asignan para su uso.

Se puede decir que big data es equivalente a una "base de datos" de datos masivos. Al observar el desarrollo del campo de big data, también podemos ver que el desarrollo actual de big data se ha ido desarrollando. En una dirección similar a la experiencia de las bases de datos tradicionales. En una palabra, las bases de datos tradicionales proporcionan suficiente espacio para el desarrollo de big data.

La arquitectura general del big data incluye tres capas: almacenamiento de datos, procesamiento de datos y análisis de datos. Los datos primero deben almacenarse a través de la capa de almacenamiento, y luego se pueden establecer el modelo de datos correspondiente y el sistema de índice de análisis de datos de acuerdo con las necesidades y objetivos de los datos para analizar los datos y generar valor.

La puntualidad intermedia se logra a través de las poderosas capacidades de computación paralela y computación distribuida proporcionadas por la capa intermedia de procesamiento de datos. Los tres cooperan entre sí, lo que permite que los macrodatos generen el máximo valor.

Independientemente del desarrollo actual de la computación en la nube, la tendencia futura es: la computación en la nube, como la capa inferior de recursos informáticos, admite el procesamiento de big data de la capa superior, y la tendencia de desarrollo de big data es real. Tiempo de eficiencia de consultas interactivas y capacidades analíticas. Para tomar prestadas las palabras de un documento técnico de Google: "Puede operar datos a nivel de PB en Miaji con solo un movimiento del mouse".