Cómo escribir y ejecutar programas Scala en Spark de forma independiente

Utilice Scala para escribir código de prueba:

object Test {?

def main(args: Array[String]): Unit = {? >

println("hello world")?

}?

}

Considere esta prueba como una clase y organice el proyecto de la siguiente manera:

Luego configure las opciones de compilación:

Luego busque el paquete Jar compilado en la carpeta del proyecto:

Cópielo en el directorio especificado por Spark (tiene Build it usted mismo):

Inicie Spark, luego envíe la tarea:

spark-submit --class Test --master spark://localhost:7077 /home/data/myjar/Hello .jar