Spark on Yarn Un experimento de asignación de recursos que resuelve un problema aceptado desde hace mucho tiempo

Como se mencionó en la sección anterior, para resolver completamente el problema de que Yarn permanezca ACEPTADO después de enviar una tarea, realizamos varios conjuntos de experimentos sobre la asignación de recursos de Yarn. El proceso y los resultados son los siguientes.

Modo de programación: FairScheduler

Información de configuración del nodo:

Experimento de Spark en Yarn:

Diferencia entre el modo cliente y el modo clúster No es grande Utilice el cliente para ejecutar consultas Spark SQL y generar resultados en tablas continuas que consumen recursos relativamente grandes.

Resultados experimentales:

Funcionamiento exitoso

Controlador: 1 núcleo 3G

Ejecutor: 1 núcleo 3G

Ejecutar con éxito