Spark on Yarn Un experimento de asignación de recursos que resuelve un problema aceptado desde hace mucho tiempo
Como se mencionó en la sección anterior, para resolver completamente el problema de que Yarn permanezca ACEPTADO después de enviar una tarea, realizamos varios conjuntos de experimentos sobre la asignación de recursos de Yarn. El proceso y los resultados son los siguientes.
Modo de programación: FairScheduler
Información de configuración del nodo:
Experimento de Spark en Yarn:
Diferencia entre el modo cliente y el modo clúster No es grande Utilice el cliente para ejecutar consultas Spark SQL y generar resultados en tablas continuas que consumen recursos relativamente grandes.
Resultados experimentales:
Funcionamiento exitoso
Controlador: 1 núcleo 3G
Ejecutor: 1 núcleo 3G
Ejecutar con éxito