Red de conocimiento informático - Problemas con los teléfonos móviles - Explicación detallada de Spark2x sobre la configuración del registro de hilo

Explicación detallada de Spark2x sobre la configuración del registro de hilo

La configuración de registro de Spark en Yarn se divide en dos categorías:

Las presentaremos una por una.

En el modo cliente, Spark se divide en tres partes, a saber,

controlador, maestro de aplicación y ejecutor. Este modo se usa generalmente en entornos de prueba.

Según la explicación anterior, echemos un vistazo a su configuración de registro:

En el modo de clúster, Spark se divide en dos partes, a saber,

Controlador y ejecutores, este patrón se utiliza normalmente en entornos de producción.

Basándonos en la explicación anterior, echemos un vistazo a su configuración de registro:

En modo cliente, la plantilla de configuración de registro del controlador es:

Aquí, usted Puede usar la salida de la consola para ver más fácilmente los registros en el controlador.

Otras configuraciones de registro

Se recomienda utilizar appender para evitar que el registro sea demasiado grande y ocupe el disco.

Otras configuraciones de registro

Se recomienda utilizar appender para evitar que el registro sea demasiado grande y ocupe el disco.