Estrategia de partición para escritura de datos en Kafka

Como todos sabemos, Kafka tiene el concepto de particiones. Cuando un productor escribe datos en Kafka, implica en qué partición se escriben los datos.

La API de Kafka proporciona la función de divisor predeterminada, la estrategia específica es la siguiente:

1. Si el productor especifica una partición específica al escribir datos, se utilizará esa partición.

2. Si el productor no especifica una partición, pero proporciona una clave, la función del particionador codificará la clave y tomará el módulo del número de temas para determinar la partición.

3. Si el productor no especifica una partición ni proporciona una clave, la partición se selecciona mediante el método de operación por turnos.

En este proyecto, filebeat se utiliza para recopilar datos de Kafka. Si el round-robin está configurado en el archivo de configuración de filebeat, cuando los datos se consumen en sentido descendente, se puede encontrar key=null imprimiendo record.key. Cada dato es diferente para la partición.