Las diferencias entre Flink 1.10 y 1.12

La diferencia entre flink 1.10 y 1.12 es que Flink 1.12 admite el conector upsert Flink SQL Kafka.

Porque en Flink 1.10, el desarrollo actual de tales tareas aún no es fácil de usar, requiere mucho código y también da como resultado un Flink SQL detallado.

El conector SQL de Flink 1.12 admite el conector Kafka Upsert, que es un requisito de la unidad de negocios de nuestra empresa para una plataforma en tiempo real.

Ventajas: es conveniente desarrollar tareas en tiempo real que requieran que los usuarios obtengan los registros más recientes de Kafka, como este binlog -> kafka, y luego los usuarios realizan operaciones de agregación. Todavía existen muchos escenarios de este tipo. , que mejora la eficiencia del desarrollo de trabajos en tiempo real, aunque se ha optimizado 1.12, el rendimiento será mejor que el simple last_value.

Las capacidades de los trabajos de Flink Yarn en el nivel de producción de k8s incluyen: los trabajos de Flink Jar han habilitado completamente los K8, mientras que los trabajos de Flink SQL todavía se están ejecutando en Yarn debido a la etapa inicial de promoción, por lo que Flink puede ser Totalmente habilitado para K8 para computación en tiempo real.

Por lo tanto, necesitamos migrar los trabajos de Flink SQL a K8. Actualmente, Flink 1.12 cumple con los requisitos para la funcionalidad Flink k8s de nivel de producción, por lo que utilizaremos directamente la funcionalidad On k8s de la comunidad para habilitar Flink SQL.

Riesgo: aunque después de la comunicación con la comunidad, no hay ningún problema con Flink 1.12 en k8s, POC aún debe verificar primero las funciones específicas y es posible que se requiera la capacidad de la comunidad para Flink en k8s.

Esto puede limitar nuestro uso de ciertas características de k8s, como el uso de volumen de ruta de host e Ingress. Es posible que necesitemos cambiar el código fuente subyacente para obtener soporte rápido (la comunidad ha relacionado JIRA para completar esto). Trabajar).