Red de conocimiento informático - Aprendizaje de programación - En la programación de Mapreduce, la combinación no se realizará si el atributo map.job.tracker no está configurado. ¿Por qué?

En la programación de Mapreduce, la combinación no se realizará si el atributo map.job.tracker no está configurado. ¿Por qué?

El parámetro mapred.job.tracker especifica la dirección de job.tracker. Si este parámetro no está configurado, el valor predeterminado es local, es decir, el trabajo se ejecutará localmente.

Personalmente, entiendo que la función de combine no es eliminar duplicados. El trabajo de combine es en realidad reducir la salida del mapa. Por ejemplo, si necesita realizar un único cálculo estadístico, entonces realice. una operación combinada cuando se genera el mapa para generar la salida La cantidad de datos se reduce, por lo que los datos en los procesos de reproducción aleatoria y clasificación se reducirán, reduciendo así la cantidad de datos transmitidos a través de la red y mejorando la eficiencia operativa. El método de combinación es generalmente el mismo que el de reducción, pero algunos trabajos no son adecuados para utilizar el proceso de combinación.

Entonces parece que tu problema no es causado por la combinación. Si buscas otras razones, puede ser un problema reducido

.