Tres formas de encontrar el promedio en Spark
Método 1:
Usar groupByKey
//Método promedio 1: groupByKey
textFile.mapToPair(line -gt; new Tuple2lt;gt;(line.split (" ")[0], Entero .parseInt(line.split(" ")[1]))
.groupByKey()
.mapToPair(info -gt; {
suma doble = 0;
cuenta doble = 0;
Iteratorlt; >
while (it.hasNext()) {
suma = it.next();
recuento
}
doble ave = suma / recuento;
devolver nuevo Tuple2lt; (info._1(), ave); ()
.forEach(System.out::println);<
1
2
3
4
5
6
7
8
9
10
11
12
13
14
1516
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16