¿Cuáles son las arquitecturas de las plataformas de big data?
01
Arquitectura tradicional de big data
Se denomina arquitectura tradicional de big data porque está posicionada para resolver los problemas del BI tradicional.
Ventajas:
Simple y fácil de entender Para el sistema BI, la idea básica no ha cambiado es la elección de la tecnología, sustituyendo los componentes del BI por big data. arquitectura.
Desventajas:
Para big data, no existe una arquitectura de cubo completa en BI y el soporte para empresas no es lo suficientemente flexible, por lo que es adecuado para una gran cantidad de informes o perforaciones complejas. En escenarios inactivos, se requiere demasiada personalización manual. Al mismo tiempo, la arquitectura sigue siendo principalmente de procesamiento por lotes y carece de soporte en tiempo real.
Escenarios aplicables:
Las necesidades de análisis de datos todavía se basan principalmente en escenarios de BI, pero debido a problemas como el volumen y el rendimiento de los datos, no pueden satisfacer el uso diario.
02
Arquitectura de streaming
Basada en la arquitectura tradicional de big data, los datos se extraen directamente del procesamiento por lotes y se procesan en forma de flujo, por lo que data Ya no hay ETL en el lado de acceso, reemplazado por canales de datos.
Ventajas:
Sin procesos ETL inflados, los datos son muy eficientes.
Desventajas:
La arquitectura de transmisión no tiene capacidades de procesamiento por lotes y no puede admitir la reproducción de datos y estadísticas históricas. Para el análisis fuera de línea, solo admite el análisis dentro de la ventana.
Escenarios de aplicación:
Requisitos de advertencia, seguimiento y validez de datos.
03
Arquitectura Lambda
La mayoría de las arquitecturas son básicamente arquitectura Lambda o basadas en sus variantes.
Ventajas:
Ya sea en tiempo real o fuera de línea, puede cubrir escenarios de análisis de datos.
Desventajas:
La capa fuera de línea y la transmisión en tiempo real enfrentan escenarios diferentes, pero su lógica de procesamiento interno es la misma, por lo que hay muchos honores y módulos duplicados.
Escenarios de aplicación:
Escenarios de aplicación con requisitos tanto en tiempo real como fuera de línea.
04
La arquitectura Kappa
está optimizada en base a Lambda, fusionando las partes en tiempo real y de transmisión, y el canal de datos se reemplaza por una cola de mensajes.
Ventajas:
Resuelve el problema de redundancia en la arquitectura Lambda. El diseño tiene en cuenta la reproducibilidad de los datos y toda la arquitectura es muy simple.
Desventajas:
Aunque la arquitectura Kappa parece simple, es relativamente difícil de implementar, especialmente en términos de reproducción de datos.
Escenarios de aplicación:
Similar a Lambda, la arquitectura de cambio está optimizada para Lambda.
05
Arquitectura Unifield
Todas las arquitecturas anteriores se centran en el procesamiento masivo de datos, pero la arquitectura Unifield combina el aprendizaje automático y el procesamiento de datos en un todo. Se ha agregado una nueva capa de aprendizaje automático a la capa de procesamiento de flujo.
Ventajas:
Proporciona un conjunto de soluciones arquitectónicas que combinan análisis de datos y aprendizaje automático, resolviendo el problema de cómo combinar el aprendizaje automático y las plataformas de datos.
Desventajas:
La complejidad de la implementación es alta para la arquitectura de aprendizaje automático, desde el paquete de software hasta la implementación de hardware, y es muy diferente de la plataforma de análisis de datos, por lo que el proceso de implementación El grado. de dificultad es alta.
Escenarios aplicables:
Hay una gran cantidad de datos que deben analizarse y existe una gran demanda o plan para el aprendizaje automático.
En la era del big data, varias tecnologías cambian cada día que pasa. Si quieres seguir siendo competitivo, debes seguir aprendiendo. El propósito de escribir estos artículos es ayudar a algunas personas a comprender los conocimientos relevantes del aprendizaje de big data. Gama Valley Big Data es una institución de formación de talentos de big data. Los estudiantes a los que les guste pueden prestarle atención y dedicar un poco de tiempo a aprender todos los días. La acumulación a largo plazo siempre será gratificante.