Red de conocimiento informático - Aprendizaje de programación - Instalación del entorno Hadoop-Scala-Spark

Instalación del entorno Hadoop-Scala-Spark

Para actualizaciones continuas, preste atención a: /blogs/zorkelvll/articles/2018/11/02/1541172452468

?Este artículo presenta principalmente la instalación del software de infraestructura de big data. Proceso Hadoop-Scala-Spark, tome macOS, Linux y otros entornos de sistemas como ejemplos para practicar.

1. Antecedentes

2. Instalación del entorno de práctica (macOS)

Agregar después

(4) Configurar el sitio principal. Dirección y puerto xmlhdfs: vim /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/core-site.xml => Agregar configuración

y crear la carpeta mkdir /usr/local /Cellar/hadoop/hdfs & mkdir /usr/local/Cellar/hadoop/hdfs/tmp

Haga una copia de seguridad primero: cp /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop / mapred-site.xml mapred-site-bak.xml

Luego edite: vim /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/mapred-site.xml => Agregar configuración

(7) Formatee el formato del sistema de archivos hdfs: hdfs namenode -format

(8) Inicie y cierre el servicio hadoop:

/usr /local/ Cellar/hadoop/3.0.0/libexec/start-dfs.sh => Proceso demonio: nodos de nombre, nodos de datos, nodos de nombre secundarios, acceda a http://localhost:9870 en el navegador, tenga en cuenta que el número de puerto es 9870 de 50070

/usr/local/Cellar/hadoop/3.0.0/libexec/start-yarn.sh => proceso de servicio de hilo: administrador de recursos, administradores de nodos, visite http://localhost:8088 y http: // en el navegador localhost:8042

/usr/local/Cellar/hadoop/3.0.0/libexec/stop-yarn.sh

/usr/local/Cellar/hadoop /3.0.0/ libexec/stop-dfs.sh

Nota: para hadoop3.0.0 instalado en modo de preparación, la ruta de hadoop que debe configurarse está en libexec; de lo contrario, el comando start-dfs.sh informará un error "error: no se puede ejecutar hdfs-config”

Lo anterior es el proceso de instalación de hadoop-scala-spark en mac. Se practicó por primera vez en mac ayer. Fue uno -tiempo de éxito => Espero que pueda ser útil para todos los estudiantes y obtener sus comentarios. Si tiene alguna pregunta o encuentra dificultades, deje un mensaje debajo del artículo. !

El camino para iniciar Spark: https://spark.apache.org/docs/latest/quick-start.html