¿Qué incluye la arquitectura del sistema de análisis de datos?

1. Fuente de datos

Todas las arquitecturas de big data comienzan con el código fuente. Esto puede incluir datos de bases de datos, datos de fuentes en tiempo real, como dispositivos IoT, y archivos estáticos de aplicaciones como registros de Windows.

2. Recepción de mensajes en tiempo real

Si hay una fuente en tiempo real, es necesario establecer un mecanismo en la arquitectura para ingerir los datos.

3. Almacenamiento de datos

Las empresas necesitan almacenar datos que serán procesados ​​a través de una arquitectura de big data. Normalmente, los datos se almacenarán en un lago de datos, una gran base de datos no estructurada que se puede escalar fácilmente.

4. Combinación de procesamiento por lotes y en tiempo real

Las empresas que necesitan procesar datos estáticos y en tiempo real deben tener una combinación de procesamiento por lotes y en tiempo real integrada en sus sistemas. arquitectura de big data. Esto se debe a la capacidad del procesamiento por lotes para procesar de manera eficiente grandes cantidades de datos, mientras que los datos en tiempo real deben procesarse de inmediato para aportar valor. El procesamiento por lotes implica operaciones de larga duración para filtrar, agregar y preparar datos para el análisis.

5. Almacenamiento de datos de análisis

Después de preparar los datos a analizar, es necesario colocarlos en una ubicación que sea conveniente para analizar todo el conjunto de datos. La necesidad de almacenamiento de datos analíticos es agregar todos los datos de una empresa en una ubicación para que sus análisis sean completos y optimizados para análisis en lugar de transacciones. Dependiendo de las necesidades de la empresa, esto podría tomar la forma de un almacén de datos basado en la nube o una base de datos relacional.

6. Herramientas de análisis o generación de informes

Después de ingerir y procesar varias fuentes de datos, las empresas necesitarán una herramienta para analizar los datos. Normalmente, las empresas utilizarán herramientas de BI (Business Intelligence) para hacer esto o requerirán que los científicos de datos exploren los datos.