Red de conocimiento informático - Problemas con los teléfonos móviles - Cómo usar ReduceByKey y GroupByKey en Spark RDD y sus diferencias

Cómo usar ReduceByKey y GroupByKey en Spark RDD y sus diferencias

Cuando se opera en RDDPair (un tipo especial de RDD, RDD[(key, Row)]), a menudo se utilizan los operadores reduceByKey() y groupByKey(). Estas son las diferencias entre los dos y cómo usarlos:

Cuando se usa reduceByKey(), los datos locales primero se fusionan, luego los datos se transfieren a un nodo diferente y se fusionan nuevamente para obtener el resultado final.

Cuando usas groupByKey() no realizas la combinación localmente, primero pasas todos los datos y luego los agregas todos en una secuencia.

groupByKey() es significativamente más lento que reduceByKey().

Aunque groupByKey().map(func) también puede implementar la función de reduceByKey(func), preferimos usar reduceByKey(func).

Resultados de la prueba:

上篇: Python cómo guardar la salida de la pantalla como un archivo de registro controlando el flujo de salida 下篇: ¿Por qué se cambió el episodio de 40 episodios de "Anti-Gangster" a 28 episodios?

Artículos populares