Cómo ejecutar un clúster Spark en modo independiente

Hay tres modos para ejecutar un clúster Spark: modo independiente, modo Mesos y modo YARN.

Ahora pasemos al modo independiente. Este es el modo más simple y Spark puede ejecutarlo por sí solo (sin depender de otras herramientas de administración de clústeres).

Método 1: ejecutar el modo independiente manualmente.

Preferencia: No modifica los archivos Spark de ninguna manera.

1. Ejecute ./sbin/start-master/sh en la máquina maestra.

Después de ejecutarlo, se imprimirá la URL: spark://HOST:PORT. la máquina maestra. La URL Spark actual de la máquina.

2. Ejecute ./sbin/start-slave.shlt;master-spark-urlgt; en la máquina esclava;

Luego verifique http:// en la interfaz de administración del máquina maestra master-ip: 8080, verifique si la máquina esclava está en línea.

Método 2: utilice el script de ejecución del clúster para ejecutar el modo independiente.

Preestablecido: el nodo maestro necesita utilizar el inicio de sesión sin contraseña ssh para acceder al nodo esclavo, por lo que el inicio de sesión sin contraseña debe configurarse con anticipación.

1. En la carpeta conf del nodo maestro, agregue un nuevo archivo esclavo que contenga el nombre de host de cada nodo esclavo, uno por línea.

2. Ejecute el siguiente script en el nodo maestro