¿Por qué Spark se ejecuta en Linux?
El profesor dijo que deberíamos aprender LINUX y en qué programa deberíamos programar, pero todavía no sé por qué deberíamos programar en LINUX. Escuché que LINUX es muy estable. ¿Es esta la razón?
La premisa de este artículo ha sido instalar Scala, sbt y spark. Describa brevemente los pasos de la operación del clúster de montaje del programa:
1. Construya la estructura de ingeniería del proyecto estándar de sbt: SBT. diagrama de estructura de ingeniería del proyecto: ~ El archivo /build.sbt se utiliza para configurar la información básica del proyecto (nombre del proyecto, nombre de la organización, versión del proyecto, usar la versión Scala o configurar algunos paquetes de dependencia requeridos por el proyecto/); El archivo build.properties se utiliza para configurar la versión sbt del proyecto; el archivo plugins.sbt agrega los complementos necesarios al proyecto; el archivo project/Build.scala realiza algunas configuraciones complejas y avanzadas para el proyecto; Detalles de instalación y configuración de sbt, consulte la publicación del blog:
2. El programa Spark debe crearse en el directorio correspondiente para escribir la instancia de SparkContext SparkContext("master", "projectName", "SPARK_HOME". , "ruta de suProject.jar")
3. Error del compilador del comando de compilación sbt Paquete del programa del comando del paquete sbt Ruta de almacenamiento del archivo jar predeterminada: Directorio raíz del proyecto/target/scala-xx.xx.xx/your- project-name_xx.xx.xx-xx.jar
4. Al empaquetar jar, solicite precio y agregue SPAK_CLASSPATH (Linux cambia según el mismo alcance) El tipo de variable de entorno es mi tipo de configuración: spark root directorio conf/spark-env.sh archivo agregue SPARK_CLASSPATH: xxxxxxxx)
5. Configure las variables de entorno directorio raíz de Spark use el script ./run para ejecutar el programa de ejemplo: ./ ejecute spark.examples.SparkPi spark: //masterIP:port Tenga en cuenta que el programa implica operaciones IO y comienza desde la ruta predeterminada SPARK_HOME; es necesario estudiar cómo modificar la ruta
Reimpreso solo como referencia