Cómo Flink extrae datos de Kafka

Primero, echemos un vistazo al método FlinkKafkaConsumerBase.run, que es equivalente al método de entrada de Flink para extraer datos de Kafka:

método createFetcher

devuelve un objeto KafkaFetcher, hagamos clic y echemos un vistazo

Se crea un objeto KafkaConsumerThread en el constructor de KafkaFetcher

Hasta ahora, se ha introducido createFetch También se puede considerar como una preparación. para extraer datos A continuación, echemos un vistazo a kafkaFetcher.runFetchLoop();

El método runFetchLoop en KafkaFetch comienza oficialmente a extraer mensajes de Kafka

Desde consumerThread.start() inicia el proceso real. Consumidor de Kafka, echemos un vistazo a los métodos en consumerThread

Hasta ahora, se ha introducido cómo extraer datos de Kafka