Red de conocimiento informático - Material del sitio web - ¿Cuál es la biblioteca de computación de gráficos basada en lotes en Flink?

¿Cuál es la biblioteca de computación de gráficos basada en lotes en Flink?

Gelly en Flink es una biblioteca de computación gráfica basada en lotes

Como marco de procesamiento de datos distribuido, Flink proporciona interfaces que admiten cálculos y cálculos por lotes, al tiempo que abstrae bibliotecas de componentes basadas en diferentes aplicaciones. Se han desarrollado tipos, como CEP (Biblioteca de procesamiento de eventos complejos) basada en procesamiento de flujo, biblioteca SQL&Table, FlinkML (Biblioteca de aprendizaje automático) basada en procesamiento por lotes, Gelly (Biblioteca de procesamiento de gráficos), etc.

La capa API incluye la API DataStream para crear aplicaciones informáticas en flujo y la API DataSet para aplicaciones informáticas por lotes. Ambas proporcionan a los usuarios API de procesamiento de datos avanzadas y enriquecidas, como operaciones Map y FlatMap, etc. así como la API de función de proceso de nivel relativamente bajo, que permite a los usuarios manipular directamente el estado y el tiempo y otros datos subyacentes.

Flink

Flink implementa el modelo de computación de flujo de Google Dataflow para lograr un alto rendimiento, baja latencia, alto rendimiento y un marco de computación de flujo en tiempo real. Al mismo tiempo, Flink admite una gestión de estado altamente tolerante a fallas para evitar la pérdida de estado debido a anomalías del sistema durante el proceso de cálculo. Flink mantiene periódicamente la persistencia del estado a través de puntos de control de tecnología de instantáneas distribuidas y puede calcular los resultados correctos incluso cuando el sistema no funciona o se produce una excepción.