Cómo utilizar la idea Intellij para crear un entorno de desarrollo remoto de Hadoop en Windows

(1) Preparación

1) Instalar JDK 6 o JDK 7

2) Instalar scala 2.10.x (tenga en cuenta la versión)

2) Descargue la última versión de Intellij IDEA (este artículo utiliza IntelliJ IDEA Community Edition 13.1.1 como ejemplo. Las diferentes versiones pueden tener diferentes diseños de interfaz)

3) Descomprima el Intellij IDEA descargado e instálelo Complemento Scala, el proceso es el siguiente:

Seleccione "Configurar" -> "Complementos" -> "Buscar repositorios", ingrese scala y luego instálelo

(2 ) Cree un entorno de lectura de código fuente de Spark (requiere conexión a Internet)

Un método es seleccionar directamente "importar proyecto"-> seleccionar el directorio donde se encuentra Spark->

"SBT" , luego intellij reconocerá automáticamente el archivo SBT y descargará el paquete jar externo dependiente. Todo el proceso lleva mucho tiempo, dependiendo del entorno de red de la máquina (no se recomienda operar en Windows). > ya que puede encontrar varios problemas). Por lo general, tarda decenas de minutos en completarse. Tenga en cuenta que git se utilizará durante el proceso de descarga, por lo que git debe instalarse con antelación.

El segundo método consiste en generar primero el archivo del proyecto intellij en el sistema operativo Linux y luego abrir el proyecto directamente a través de "Abrir

Proyecto" en intellij IDEA. El método para generar archivos de proyecto intellij en Linux (es necesario instalar git, no es necesario instalar scala, sbt se descargará automáticamente) es: En el directorio raíz del código fuente de Spark, ingrese sbt/sbt gen-idea

p>

Nota: si lee el código fuente en Windows, se recomienda generar primero el archivo del proyecto en Linux y luego importarlo a intellij IDEA en Windows.

(3) Cree el entorno de desarrollo Spark

Cree un proyecto Scala en intellij IDEA y seleccione "Archivo"–> "estructura del proyecto"

–> "Bibliotecas ", seleccione "+" e importe el paquete correspondiente de spark-hadoop

, como importar spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar (simplemente importe el jar

Paquete, no se requieren otros), si el IDE no reconoce la biblioteca Scala, debe importar la biblioteca Scala de la misma manera. Luego puede desarrollar el programa Scala:

Después de escribir el programa Scala, puede ejecutarlo directamente en intellij en modo local. El método es el siguiente:

Haga clic en "Ejecutar" –. > "Ejecutar configuraciones", complete "local" en la columna correspondiente en el cuadro emergente, lo que indica que el parámetro se pasará a la función principal, como se muestra en la figura siguiente, y luego haga clic en "Ejecutar" -> " Ejecutar” para ejecutar el programa.

Si desea empaquetar el programa en un paquete jar y ejecutarlo en el cluster Spark a través de la línea de comando, puede seguir los siguientes pasos:

Seleccione "Archivo" –> "Estructura del proyecto" –> “Artefacto”, seleccione “+” –>

“Jar” –> “De módulos con

dependencias”, seleccione la función principal y seleccione la salida en la ubicación del archivo del cuadro emergente y seleccione "Aceptar".

Finalmente, seleccione “Construir” –> “Construir artefacto” para compilar y generar el paquete jar.