Instalación del entorno Hadoop-Scala-Spark
Para actualizaciones continuas, preste atención a: /blogs/zorkelvll/articles/2018/11/02/1541172452468
?Este artículo presenta principalmente la instalación del software de infraestructura de big data. Proceso Hadoop-Scala-Spark, tome macOS, Linux y otros entornos de sistemas como ejemplos para practicar.
1. Antecedentes
2. Instalación del entorno de práctica (macOS)
Agregar después
(4) Configurar el sitio principal. Dirección y puerto xmlhdfs: vim /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/core-site.xml => Agregar configuración
y crear la carpeta mkdir /usr/local /Cellar/hadoop/hdfs & mkdir /usr/local/Cellar/hadoop/hdfs/tmp
Haga una copia de seguridad primero: cp /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop / mapred-site.xml mapred-site-bak.xml
Luego edite: vim /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/mapred-site.xml => Agregar configuración
(7) Formatee el formato del sistema de archivos hdfs: hdfs namenode -format
(8) Inicie y cierre el servicio hadoop:
/usr /local/ Cellar/hadoop/3.0.0/libexec/start-dfs.sh => Proceso demonio: nodos de nombre, nodos de datos, nodos de nombre secundarios, acceda a http://localhost:9870 en el navegador, tenga en cuenta que el número de puerto es 9870 de 50070
/usr/local/Cellar/hadoop/3.0.0/libexec/start-yarn.sh => proceso de servicio de hilo: administrador de recursos, administradores de nodos, visite http://localhost:8088 y http: // en el navegador localhost:8042
/usr/local/Cellar/hadoop/3.0.0/libexec/stop-yarn.sh
/usr/local/Cellar/hadoop /3.0.0/ libexec/stop-dfs.sh
Nota: para hadoop3.0.0 instalado en modo de preparación, la ruta de hadoop que debe configurarse está en libexec; de lo contrario, el comando start-dfs.sh informará un error "error: no se puede ejecutar hdfs-config”
Lo anterior es el proceso de instalación de hadoop-scala-spark en mac. Se practicó por primera vez en mac ayer. Fue uno -tiempo de éxito => Espero que pueda ser útil para todos los estudiantes y obtener sus comentarios. Si tiene alguna pregunta o encuentra dificultades, deje un mensaje debajo del artículo. !
El camino para iniciar Spark: https://spark.apache.org/docs/latest/quick-start.html