Cómo instalar tensorflow en Spark

1. Es mejor instalar Scala 2.10.X porque tiene mejor soporte para Spark y no tiene algunos errores. El siguiente tutorial debería ser útil/scala/scala-install.html

2. Instalar Spark es probablemente la forma más sencilla. Haga clic aquí para descargar Spark. Ahora que tenemos hadoop instalado, descarguemos un paquete Spark que no requiere hadoop, que es el Hadoop proporcionado por el usuario

Estoy usando 1.6.0.

Descomprima en el directorio a instalar

sudo tar -zxf ~/download/spark-1.6.0-bin- without-hadoop.tgz -C /usr/local/

cd /usr/local

sudo mv ./spark-1.6.0-bin-sin-hadoop/ ./spark

sudo chown -R hadoop: hadoop ./spark # donde hadoop es su nombre de usuario

El paso importante después de esto es cambiar el contenido de spark-env.sh, lo que parece requerir mucho trabajo.

cd /usr/local/spark

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

vim conf/spark-enf.sh

Las siguientes son algunas de mis configuraciones para spark-env.sh

configuración de spark-env.sh.template .sh

exportar HADOOP_HOME=/home/ubuntu/workspace/hadoop

exportar HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

exportar HADOOP_HDFS_HOME=/home/ubuntu/workspace/hadoop

exportar SPARK_DIST_CLASSPATH=$(/home/ubuntu/workspace/hadoop/bin/hadoop classpath)

exportar JAVA_HOME=/home/ubuntu/workspace/jdk/

exportar SCALA_HOME = /home/ubuntu/workspace/scala

exportar SPARK_MASTER_IP=192.168.1.129

exportar SPARK_WORKER_MEMORY=1G

exportar SPARK_MASTER_PORT=7077

exportar SPARK_WORKER_CORES=1

exportar SPARK_WORKER_INSTANCES=2

exportar SPARK_EXECUTOR_INSTANCES= 2118

Propiedades Si no lo entiende, puede abrir spark-env. sh, que tiene muchos comentarios delante del significado de varios atributos. (PD: hay un SPARK_DIST_CLASSPATH que debe cambiarse correctamente; de ​​lo contrario, no se ejecutará)

Este es un excelente tutorial, muy bien escrito y con calificación de estrellas.

/spark-quick-start-guide/

3. Implementación distribuida de Spark

Por supuesto, el enfoque está aquí, el tutorial está aquí

/jackieyeah/blog/659741

No parece haber ninguna trampa aquí, pero creo recordar que al principio, el trabajador en otra máquina siempre estaba en otra máquina. El trabajador en otra máquina no pudo iniciarse, pero olvidé por qué, tal vez porque el inicio de sesión sin contraseña no está configurado o por otras razones.

Después de seguir el tutorial, tendrá un clúster Spark y podrá utilizarlo para crear un clúster independiente.