Arquitectura del sistema de big data

Transferir a: /a/227887005_487103

El trabajo de análisis de datos está oculto detrás del sistema empresarial, pero juega un papel muy importante. Los resultados del análisis de datos juegan un papel decisivo en la decisión. -Efecto de creación y desarrollo empresarial. Con el desarrollo de la tecnología de big data, la exposición a la minería de datos, la exploración de datos y otros términos es cada vez mayor. Sin embargo, la popularidad de los sistemas de análisis de big data similares a la serie Hadoop ha hecho que el trabajo de análisis de datos se desarrolle rápidamente, especialmente basado en. Para los sistemas de BI, ya existen ecosistemas y soluciones técnicas muy maduros y estables. Para los sistemas de BI, el canal de datos similar a Lambda se divide en dos ramas: transmisión en tiempo real y fuera de línea. La transmisión en tiempo real se basa en la arquitectura de transmisión, lo que garantiza que el rendimiento sin conexión en tiempo real se base en el procesamiento por lotes, lo que garantiza la coherencia final. ¿qué significa eso? El procesamiento del canal de transmisión garantiza la efectividad y se utilizan más cálculos incrementales como referencia, mientras que la operación de datos completa de la capa de procesamiento por lotes garantiza la coherencia final, por lo que la capa más externa de Lambda tiene una capa en tiempo real y una capa fuera de línea fusionadas. Acción, esta acción es una acción muy importante en Lambda

Ventajas: Tanto en tiempo real como fuera de línea. En tiempo real y fuera de línea, cubriendo bien escenarios de análisis de datos.

Desventajas: la capa fuera de línea y la transmisión en tiempo real enfrentan escenarios diferentes, pero su lógica de procesamiento interno es la misma, por lo que hay muchos honores y módulos duplicados.

Escenarios de aplicación: existen requisitos tanto en tiempo real como fuera de línea.

Arquitectura Kappa

Arquitectura Unifield

Resumen

Las arquitecturas anteriores son algunas de las arquitecturas más utilizadas en el campo del procesamiento de datos. ., hay muchas otras arquitecturas, pero las ideas son más o menos similares. Hay muchas otras arquitecturas, pero la idea es más o menos la misma. A medida que los campos de los datos y el aprendizaje automático continúan evolucionando, estas ideas pueden eventualmente volverse obsoletas.