Integración de datos y recursos para big data **** ¿Cuáles son las tecnologías para compartir?
En pocas palabras, la tecnología de Yonghong Technology tiene cuatro aspectos, que en realidad representan algunas tecnologías subyacentes de big data comunes:
Z-Suite tiene big data de alto rendimiento Para capacidades de análisis de datos, ella completamente abandona la ampliación y apoya plenamente la expansión horizontal (escalamiento horizontal). Z-Suite admite principalmente big data a nivel de petabytes a través de las siguientes tecnologías centrales:
Computación en base de datos
Z-Suite admite varias agregaciones comunes y casi todas las estadísticas profesionales. Gracias a la computación de granularidad cruzada, el motor de análisis de datos Z-Suite encontrará la solución informática más optimizada y luego trasladará todos los cálculos más caros y costosos al lugar donde se almacenan los datos y realizará los cálculos directamente, lo que se denomina base de datos calculada en su interior. Esta tecnología reduce significativamente el movimiento de datos, reduce la carga de comunicación y garantiza un análisis de datos de alto rendimiento.
Computación paralela (Computación MPP)
Z-Suite es una plataforma de inteligencia empresarial basada en la arquitectura MPP. Puede asignar cálculos a múltiples nodos informáticos y luego resumir los resultados del cálculo en los especificados. salida del nodo. Z-Suite puede aprovechar al máximo diversos recursos informáticos y de almacenamiento, ya sea un servidor o una PC normal, y no tiene requisitos estrictos sobre las condiciones de la red. Z-Suite puede aprovechar al máximo diversos recursos informáticos y de almacenamiento, ya sea un servidor o una PC normal. Como plataforma de big data escalable horizontalmente, Z-Suite puede utilizar plenamente la potencia informática de cada nodo para lograr fácilmente una respuesta de segundo nivel para el análisis de datos a nivel TB/PB.
Basado en columnas
Z-Suite utiliza almacenamiento en columnas. Los data marts basados en columnas no leen datos irrelevantes, lo que mejora la eficiencia de E/S y al mismo tiempo reduce la sobrecarga de lectura y escritura, mejorando así en gran medida el rendimiento de las consultas. Además, el almacenamiento en columnas puede comprimir mejor los datos, con una relación de compresión general de entre 5 y 10 veces, lo que reduce la huella de datos de 1/5 a 1/10 del almacenamiento tradicional. Una buena tecnología de compresión de datos ahorra gastos generales de memoria y dispositivos de almacenamiento, pero mejora enormemente el rendimiento informático.
Computación en memoria
Gracias al almacenamiento en columnas y la tecnología de computación paralela, Z-Suite puede comprimir datos en gran medida y utilizar la potencia informática y la capacidad de memoria de múltiples nodos simultáneamente. En términos generales, la velocidad de acceso a la memoria es cientos o incluso miles de veces más rápida que la velocidad de acceso al disco. En la informática en memoria, la CPU lee datos directamente de la memoria en lugar del disco y realiza cálculos sobre los datos. La computación en memoria acelera los métodos tradicionales de procesamiento de datos y es una tecnología de aplicación clave para realizar análisis de big data.