Modo de programación predeterminado de Spark

Modo de programación predeterminado de Spark:

Spark tiene dos modos de programación principales: FIFO y FAIR: De forma predeterminada, el modo de programación de Spark es FIFO (primero en entrar, primero en salir), es decir, quien viene primero Quien envía se ejecuta primero, y las tareas posteriores deben esperar la ejecución de las tareas anteriores.

El modo FAIR (Fair Scheduling) admite la agrupación de tareas en grupos de programación. Diferentes grupos de programación tienen diferentes pesos, y las tareas pueden determinar el orden de ejecución en función de los pesos. El programador que se utiliza lo establece el parámetro spark.scheduler.mode. Los parámetros opcionales son FAIR y FIFO, y el valor predeterminado es FIFO.

Significado

Spark utiliza una estrategia FIFO de forma predeterminada para ejecutar múltiples trabajos y proporciona una cola para guardar los trabajos enviados. Si el trabajo al principio de la cola no requiere todos los recursos del clúster, los trabajos posteriores se pueden ejecutar inmediatamente. Sin embargo, si el trabajo al principio de la cola consume todos los recursos del clúster y tarda mucho en ejecutarse, incluso si el trabajo posterior es de tamaño pequeño, debe esperar a que el trabajo anterior termine de ejecutarse, lo que puede causar un gran retraso.