Cómo ejecutar el Proyecto Spark
1. Construcción de la estructura de ingeniería de proyecto estándar de sbt: ingeniería de proyecto de SBT. diagrama de estructura, en el que: El archivo ~/build.sbt se utiliza para configurar la información básica del proyecto (nombre del proyecto, nombre de la organización, versión del proyecto, versión de Scala utilizada o algunos paquetes dependientes necesarios para reconfigurar el proyecto); El archivo /build.properties configura qué versión usar. sbt para operar el proyecto; el archivo project/plugins.sbt es el complemento que debe agregarse al proyecto. El archivo Project/Build.scala es la configuración avanzada compleja; del proyecto; para obtener una configuración detallada de la instalación de sbt, consulte la publicación del blog:
2. Para escribir un programa en el directorio correspondiente, el programa Spark debe crear una instancia de SparkContext. SparkContext("master","projectName","SPARK_HOME","yourProject.jar path")
3. Después de que el comando sbt compile compila el programa sin errores, el comando sbt package empaqueta el programa. La ruta de almacenamiento del archivo jar empaquetado predeterminado es: directorio raíz del proyecto/destino/Scala-xx xx/nombre-de-su-proyecto _ xx-xx.
4. Agregue el precio del jar empaquetado a SPAK_CLASSPATH (hay muchas formas de cambiar las variables de entorno según el alcance de la aplicación en Linux. Aquí solo menciono mi método de configuración: agregue SPAK_classpath: xxxxxxxx a la configuración). /spark-env.sh en el directorio raíz de SPAK).
5. Después de configurar las variables de entorno, puede utilizar. El script /run ejecuta su programa en el directorio raíz de Spark, por ejemplo:. /runspark. ejemplo. Sparkpi Spark://masterip: puerto Tenga en cuenta que si el programa involucra operaciones IO, la ruta predeterminada es SPARK_HOME en cuanto a cómo modificar esta ruta, es necesario estudiarlo;
Reimpreso sólo como referencia.