Red de conocimiento informático - Conocimiento informático - Cómo configurar Spark

Cómo configurar Spark

2.1.2 Instalación y configuración de Spark en Windows

Esta sección presenta el proceso de instalación de Spark en sistemas Windows. En un entorno Windows, debe instalar Cygwin para simular el entorno de línea de comandos de Linux para instalar Spark.

(1) Instalar JDK

En comparación con la instalación de JDK en Linux y Windows, está más automatizada. Los usuarios pueden descargar e instalar Oracle JDK u OpenJDK. Simplemente instalar el JRE no es suficiente, los usuarios deben descargar el JDK completo.

El proceso de instalación es muy sencillo, basta con ejecutar el archivo ejecutable binario y el programa configurará automáticamente las variables de entorno.

(2) Instalar Cygwin

Cygwin es una herramienta muy útil para simular el entorno Linux en la plataforma Windows. Solo a través de ella se pueden instalar Hadoop y Spark en el entorno Windows. Los pasos de instalación específicos son los siguientes.

1) Ejecute el instalador y seleccione instalar desde Internet.

2) Elija la mejor fuente de descarga en Internet para descargar.

3) Ingrese a la interfaz Seleccionar paquetes (consulte la Figura 2-2), luego ingrese Net y seleccione openssl y openssh. Porque seguirás utilizando el inicio de sesión sin clave ssh en el futuro.

Además, se debe instalar "vim" en "Categoría de editores". Esto le permite modificar fácilmente el archivo de configuración en Cygwin.

Finalmente, debe configurar las variables de entorno. Seleccione el comando "Mi PC" → "Propiedades" → "Configuración avanzada del sistema" → "Variables de entorno", actualice la configuración de la ruta en las variables de entorno. agregue Cygwin después de él. directorio bin y el directorio usr\bin de Cygwin.

(3) Instale sshd y configure el inicio de sesión sin contraseña

1) Haga doble clic en el icono de Cygwin en el escritorio, inicie Cygwin y ejecute ssh-host-config -y comando, como se muestra en la Figura 2 -La interfaz que se muestra en 3.

2) Después de la ejecución, se le pedirá que ingrese una contraseña; de lo contrario, la configuración se cerrará. En este momento, ingrese la contraseña, confírmela y presione la tecla Enter. Finalmente, aparece la configuración del Host. ¡Que te diviertas!, lo que indica que la instalación se realizó correctamente.

3) Ingrese net start sshd para iniciar el servicio. O busque e inicie el servicio Cygwin sshd en los servicios del sistema.

Tenga en cuenta que si es un sistema operativo Windows 8, al iniciar Cygwin, debe ejecutarlo como administrador (haga clic derecho en el icono y seleccione Ejecutar como administrador); de lo contrario, aparecerá el mensaje "Un sistema". "Se ha producido un error" debido a problemas de permisos. 5".

(4) Configurar el inicio de sesión sin contraseña SSH

1) Ejecute el comando ssh-keygen para generar un archivo de clave, como se muestra en la Figura 2-4.

2) Después de ejecutar este comando, se generará una carpeta .ssh en su ruta Cygwin\home\username, que se puede ver mediante el comando ls -a /home/username, y mediante ssh - comando de versión Ver versión.

3) Después de ejecutar el comando ssh-keygen, ejecute el siguiente comando para generar el archivo autorizado_keys.

cd ~/.ssh/

cp id_dsa.pub autorizado_keys

Esto configurará el servicio sshd.

(5) Configuración de Hadoop

Modificar y configurar archivos relacionados de acuerdo con la configuración de Linux. Los lectores pueden consultar el método de configuración en Linux anterior y no entrarán en detalles aquí.

(6) Configuración de Spark

Modificar y configurar archivos relacionados de acuerdo con la configuración de Linux. Los lectores pueden consultar el método de configuración en Linux anterior y no entrarán en detalles aquí.

(7) Ejecutar Spark

1) Iniciar y apagar Spark

① Inicie Spark en el directorio raíz de Spark.

./sbin/start-all.sh

②Cerrar Spark.

./sbin/stop-all.sh

2) Iniciar y cerrar Hadoop

① Inicie Hadoop en el directorio raíz de Hadoop.

./sbin/start-all.sh

②Cierre Hadoop.

./sbin/stop-all.sh

3) Compruebe si la instalación se realizó correctamente

En condiciones normales, aparecerá el siguiente contenido.

-bash-4.1# jps

23526 Jps

2127 Maestro

7396 NameNode

7594 SecondaryNameNode

7681 ResourceManager

1053 DataNode

31935 NodeManager

1405 Worker

Si falta el proceso, vaya a la carpeta de registros Verifique el registro correspondiente a continuación para resolver el problema específico.