Red de conocimiento informático - Material del sitio web - Cómo construir un clúster Spark en Ubuntu

Cómo construir un clúster Spark en Ubuntu

Aquí se usa en combinación con Hadoop 2.0

1. Descarga: http://spark.incubator.apache.org/downloads.html Seleccione la descarga de hadoop2 en la instalación prediseñada:. introducido. El nodo Spark no necesita ser hadoop. Un nodo puede ser un cliente hadoop.

2. Descargue Scala, http://www.scala-lang.org/download/all.html y descargue la versión adecuada según la descripción en el archivo README de Spark descargado.

3. La instalación es en realidad descomprimir y configurar la variable de entorno /etc/profile

exportar SPARK_HOME=/data1/spark/spark

exportar SCALA_HOME=/data1/spark/scala-2. 9.3

exportar PATH=$PATH:$SPARK_HOME/bin. $SCALA_HOME/bin

Configurar spark-env.sh bajo la configuración de Spark

exportar JAVA_HOME= / usr/java/default

exportar SCALA_HOME=/data1/spark/scala -2.9.3

exportar SPARK_MASTER_IP=192.168.0.168.0.2

192.168.

Distribuya el directorio Spark y el directorio Scala a varios servidores en la misma ruta.

4. Inicio

Ingrese el contenedor en el directorio Spark de la parada del nodo maestro. -todo. sh es para detener el clúster, start-all.sh es para iniciar el clúster, jps puede ver el proceso principal en el nodo maestro y el proceso de trabajo en el nodo esclavo

5. coloque el ejemplo en ejecución en el directorio Spark

Operación distribuida

. /run-example org.apache.spark.examples.SparkPi spark://192.168.0.1:7077

./run-example org.apache.spark.examples.SparkLR spark://192.168.0.1 :7077

Ejecutar localmente

. /run-example org.apache.spark.examples.SparkPi local

./run-example org.apache.spark.examples.SparkLR local

.

上篇: ¿Cómo crear archivos ppt usando Word? 下篇: La Universidad de Taiyuan da la bienvenida al tiempo de evaluación de pregrado

Artículos populares