Cómo instalar tensorflow en Spark
2. Instalar Spark es probablemente la forma más sencilla. Haga clic aquí para descargar Spark. Ahora que tenemos hadoop instalado, descarguemos un paquete Spark que no requiere hadoop, que es el Hadoop proporcionado por el usuario
Estoy usando 1.6.0.
Descomprima en el directorio a instalar
sudo tar -zxf ~/download/spark-1.6.0-bin- without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-1.6.0-bin-sin-hadoop/ ./spark
sudo chown -R hadoop: hadoop ./spark # donde hadoop es su nombre de usuario
El paso importante después de esto es cambiar el contenido de spark-env.sh, lo que parece requerir mucho trabajo.
cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim conf/spark-enf.sh
Las siguientes son algunas de mis configuraciones para spark-env.sh
configuración de spark-env.sh.template .sh
exportar HADOOP_HOME=/home/ubuntu/workspace/hadoop
exportar HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
exportar HADOOP_HDFS_HOME=/home/ubuntu/workspace/hadoop
exportar SPARK_DIST_CLASSPATH=$(/home/ubuntu/workspace/hadoop/bin/hadoop classpath)
exportar JAVA_HOME=/home/ubuntu/workspace/jdk/
exportar SCALA_HOME = /home/ubuntu/workspace/scala
exportar SPARK_MASTER_IP=192.168.1.129
exportar SPARK_WORKER_MEMORY=1G
exportar SPARK_MASTER_PORT=7077
exportar SPARK_WORKER_CORES=1
exportar SPARK_WORKER_INSTANCES=2
exportar SPARK_EXECUTOR_INSTANCES= 2118
Propiedades Si no lo entiende, puede abrir spark-env. sh, que tiene muchos comentarios delante del significado de varios atributos. (PD: hay un SPARK_DIST_CLASSPATH que debe cambiarse correctamente; de lo contrario, no se ejecutará)
Este es un excelente tutorial, muy bien escrito y con calificación de estrellas.
/spark-quick-start-guide/
3. Implementación distribuida de Spark
Por supuesto, el enfoque está aquí, el tutorial está aquí
/jackieyeah/blog/659741
No parece haber ninguna trampa aquí, pero creo recordar que al principio, el trabajador en otra máquina siempre estaba en otra máquina. El trabajador en otra máquina no pudo iniciarse, pero olvidé por qué, tal vez porque el inicio de sesión sin contraseña no está configurado o por otras razones.
Después de seguir el tutorial, tendrá un clúster Spark y podrá utilizarlo para crear un clúster independiente.