Cómo iniciar varios ejecutores en nodos trabajadores en un clúster Spark

spark.executor.cores 4

2. Limite la cantidad de CPU utilizadas, aquí se iniciarán 3 ejecutores (12 /4）

spark.cores.max 12

3. Establezca el tamaño de memoria de cada ejecutor en 8g

spark.executor.memory 12g

La configuración anterior iniciará 3 ejecutores, cada uno usando 4 CPU y 12 g de memoria.

Recursos totales de los trabajadores **** 12 cpu, 36 gRAM.

Recursos totales de los trabajadores **** 12 cpu, 36 gRAM.

Recursos totales ** ** de los trabajadores 12 CPU, 36 gramos.

Recurso total de trabajadores secundarios 12 CPU, 36 gramos de RAM.

Recurso total de trabajadores secundarios 12 CPU, 36 gramos de RAM.

Parte. del código fuente de Spark1.6 es el siguiente:

protected final String EXECUTOR_MEMORY = "--executor-memory"; protected final String TOTAL_EXECUTOR_ CORES = "---total- executor-cores";protected final String EXECUTOR_CORES = "--executor-cores";

También puedes agregar al enviar una tarea:

SparkSubmit -- clase com.dyq.spark.MyClass --master: spark://master:7077 --total-executor-cores 12 --executor-cores 24 --executor-memory 12g

Consejos

Durante el uso, descubrí que si Si utiliza Spark 1.5 o inferior, a veces no se puede aplicar incluso si los recursos están disponibles.