Integración de datos y recursos para big data **** ¿Cuáles son las tecnologías para compartir?

Hay tantos. No puedes enviar enlaces a Preguntas y respuestas; de lo contrario, te daré los enlaces. Existen proyectos de big data de código abierto y lenguajes de programación como Hadoop. Hablemos de la tecnología subyacente de big data.

En pocas palabras, la tecnología de Yonghong Technology tiene cuatro aspectos, que en realidad representan algunas tecnologías subyacentes de big data comunes:

Z-Suite tiene big data de alto rendimiento Para capacidades de análisis de datos, ella completamente abandona la ampliación y apoya plenamente la expansión horizontal (escalamiento horizontal). Z-Suite admite principalmente big data a nivel de petabytes a través de las siguientes tecnologías centrales:

Computación en base de datos

Z-Suite admite varias agregaciones comunes y casi todas las estadísticas profesionales. Gracias a la computación de granularidad cruzada, el motor de análisis de datos Z-Suite encontrará la solución informática más optimizada y luego trasladará todos los cálculos más caros y costosos al lugar donde se almacenan los datos y realizará los cálculos directamente, lo que se denomina base de datos calculada en su interior. Esta tecnología reduce significativamente el movimiento de datos, reduce la carga de comunicación y garantiza un análisis de datos de alto rendimiento.

Computación paralela (Computación MPP)

Z-Suite es una plataforma de inteligencia empresarial basada en la arquitectura MPP. Puede asignar cálculos a múltiples nodos informáticos y luego resumir los resultados del cálculo en los especificados. salida del nodo. Z-Suite puede aprovechar al máximo diversos recursos informáticos y de almacenamiento, ya sea un servidor o una PC normal, y no tiene requisitos estrictos sobre las condiciones de la red. Z-Suite puede aprovechar al máximo diversos recursos informáticos y de almacenamiento, ya sea un servidor o una PC normal. Como plataforma de big data escalable horizontalmente, Z-Suite puede utilizar plenamente la potencia informática de cada nodo para lograr fácilmente una respuesta de segundo nivel para el análisis de datos a nivel TB/PB.

Basado en columnas

Z-Suite utiliza almacenamiento en columnas. Los data marts basados ​​en columnas no leen datos irrelevantes, lo que mejora la eficiencia de E/S y al mismo tiempo reduce la sobrecarga de lectura y escritura, mejorando así en gran medida el rendimiento de las consultas. Además, el almacenamiento en columnas puede comprimir mejor los datos, con una relación de compresión general de entre 5 y 10 veces, lo que reduce la huella de datos de 1/5 a 1/10 del almacenamiento tradicional. Una buena tecnología de compresión de datos ahorra gastos generales de memoria y dispositivos de almacenamiento, pero mejora enormemente el rendimiento informático.

Computación en memoria

Gracias al almacenamiento en columnas y la tecnología de computación paralela, Z-Suite puede comprimir datos en gran medida y utilizar la potencia informática y la capacidad de memoria de múltiples nodos simultáneamente. En términos generales, la velocidad de acceso a la memoria es cientos o incluso miles de veces más rápida que la velocidad de acceso al disco. En la informática en memoria, la CPU lee datos directamente de la memoria en lugar del disco y realiza cálculos sobre los datos. La computación en memoria acelera los métodos tradicionales de procesamiento de datos y es una tecnología de aplicación clave para realizar análisis de big data.