¿Qué incluye la arquitectura del sistema de análisis de datos?

1. Fuente de datos

Todas las arquitecturas de big data comienzan con el código fuente. Esto puede incluir datos de bases de datos, datos de fuentes en tiempo real, como dispositivos IoT, y archivos estáticos generados a partir de aplicaciones como registros de Windows.

2. Recepción de mensajes en tiempo real

Si existe una fuente en tiempo real, es necesario incorporar un mecanismo en la arquitectura para ingerir datos.

3. Almacenamiento de datos

Las empresas necesitan almacenar datos que serán procesados ​​a través de una arquitectura de big data. Normalmente, los datos se almacenarán en un lago de datos, una gran base de datos no estructurada que se puede escalar fácilmente.

4. Una combinación de procesamiento por lotes y en tiempo real

Las empresas que necesitan procesar datos estáticos y en tiempo real deben tener integrada una combinación de procesamiento por lotes y en tiempo real. su arquitectura de big data. Esto se debe a que el procesamiento por lotes puede procesar de manera eficiente grandes cantidades de datos, mientras que los datos en tiempo real deben procesarse de inmediato para aportar valor. El procesamiento por lotes implica operaciones de larga duración para filtrar, agregar y preparar datos para el análisis.

5. Almacenamiento de datos de análisis

Después de preparar los datos a analizar, es necesario colocarlos en una ubicación que facilite el análisis de todo el conjunto de datos. La necesidad del almacenamiento de datos analíticos es que todos los datos de una empresa se agregan en una ubicación, por lo que sus análisis serán completos y optimizados para análisis en lugar de transacciones. Dependiendo de las necesidades de la empresa, esto puede tomar la forma de un almacén de datos basado en la nube o una base de datos relacional.

6. Herramientas de análisis o generación de informes

Después de ingerir y procesar varios tipos de fuentes de datos, las empresas deberán incluir una herramienta para analizar los datos. Normalmente, las empresas utilizan herramientas de BI (Business Intelligence) para hacer esto o requieren que los científicos de datos exploren los datos.