Cómo configurar Eclipse para escribir aplicaciones Spark en Java

1. Entorno

Eclipse No utilice la última versión de Neon (4.6), hay demasiados errores.

O utilice la última serie Mars (4.5)

JDK versión 8.x (se recomienda Oracle para Linux, OpenJDK no ha sido probado)

Debido a que solo se usa Java, no hay necesita instalar Scala y su complemento correspondiente

2 Crear un nuevo proyecto maven

3. pom.xml

4. p>

lt; dependenciagt ;

lt;groupIdgt;org.apache.hadooplt;/groupIdgt;

lt;artifactIdgt;hadoop-clientlt;/artifactIdgt;

lt;versiongt; 2.6.0lt;/versiongt;

lt;exclusiongt;

lt;exclusiongt;

lt;groupIdgt; servletlt;/groupIdgt;

lt;artifactIdgt;*lt;/artifactIdgt;

lt;/exclusiongt;

lt;/exclusionsgt;

lt;/dependencygt;

lt;dependencygt;

lt;groupIdgt;org.apache.sparklt;/groupIdgt;

lt;artifactIdgt; spark-core_2.10lt;/artifactIdgt ;

lt;versiongt;1.6.1lt;/versiongt;

lt;/dependencygt;

lt;dependencygt;

lt ;GroupId.sparklt;/groupIdgt;

lt;artifactIdgt;spark-streaming_2.10lt;/artifactIdgt;

lt;versiongt;1.6.1.0 gt;1.6.1lt;/versiongt ;

lt;/dependencygt;

lt;dependencygt;

lt;groupIdgt;org.apache.sparklt;/ groupIdgt;

lt;artifactIdgt;spark-mllib_2.10lt;/artifactIdgt;

lt;versiongt;1.6.1lt;/versiongt;

lt;/dependencygt;

lt;versiongt;1.6.1lt;/versiongt;

lt;/dependencygt;

lt;dependencygt;

lt;groupIdgt;org.scala-langlt;/groupIdgt;

lt;artifactIdgt;scala-librarylt;/artifactIdgt;

lt;versiongt;2.10. 5lt;/versiongt;

lt;/dependencygt;

Aquí solo se enumeran algunas dependencias.

Agregue otras dependencias según las necesidades de su proyecto

4. Utilice el paquete maven

Después de eso, puede completar el paquete de software limpio en Goal

Si lo desea. Si se modifica el código relacionado con Spark, será necesario volver a compilar el paquete para que funcione correctamente. De lo contrario, se producirá una excepción.

5. Cosas a tener en cuenta al escribir código:

Al crear un JavaSparkContext, debes agregarte a él.

JavaSparkContextgetContext(String taskName) público estático {

JavaSparkContextsc = new JavaSparkContext(SparkConnUtils. getSparkConf(taskName));

sc.addJar("target/sparkstat -0.0.1-SNAPSHOT.jar");

Devolver sc;

}

Donde se ejecuta target/sparkstat- 0.0.1-SNAPSHOT.jar El paquete jar completo generado por maven