Cómo utilizar intellij para crear un entorno de desarrollo Spark
(1) ¿Preparación
1)? ¿Instalar JDK 6 o JDK 7
2)? ¿Instalar scala 2.10.x (tenga en cuenta la versión)
2) Descargue la última versión de Intellij IDEA (este artículo utiliza IntelliJ IDEA Community Edition 13.1.1 como ejemplo. Las diferentes versiones pueden tener diferentes diseños de interfaz): /idea/download/
3 ) Descargar Después de descomprimir Intellij IDEA, instale el complemento scala. El proceso es el siguiente:
Seleccione "Configurar" -> "Complementos" -> "Buscar repositorios", ingrese scala y luego instálelo.
(2) Cree un entorno de lectura de código fuente de Spark (requiere conexión a Internet)
Un método es seleccionar directamente "importar proyecto" -> seleccionar el directorio donde se encuentra Spark -> "SBT", y luego intellij reconocerá automáticamente el archivo SBT y descargará el paquete jar externo dependiente. Todo el proceso lleva mucho tiempo, dependiendo del entorno de red de la máquina (no se recomienda operar en Windows, ya que Se pueden encontrar varios problemas). Por lo general, lleva desde decenas de minutos hasta varias horas. Tenga en cuenta que git se utilizará durante el proceso de descarga, por lo que git debe instalarse con antelación.
El segundo método consiste en generar primero el archivo del proyecto intellij en el sistema operativo Linux y luego abrir el proyecto directamente a través de "Abrir proyecto" en intellij IDEA. El método para generar archivos de proyecto intellij en Linux (es necesario instalar git, no es necesario instalar scala, sbt se descargará automáticamente) es: en el directorio raíz del código fuente de Spark, ingrese sbt/sbt gen-idea
Nota: Si lee el código fuente en Windows, se recomienda generar primero el archivo del proyecto en Linux y luego importarlo a intellij IDEA en Windows.
(3) Cree el entorno de desarrollo Spark
Cree un proyecto Scala en intellij IDEA y seleccione "Archivo" –> "estructura del proyecto" -> "Bibliotecas", seleccione "+", importe el paquete correspondiente a spark-hadoop, como importar spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar (solo necesita importar el paquete jar, no se necesitan otros), si el IDE no reconocer la biblioteca Scala. Debe importar la biblioteca Scala de la misma manera. Luego puede desarrollar el programa Scala:
Después de escribir el programa Scala, puede ejecutarlo directamente en intellij en modo local. El método es el siguiente:
Haga clic en "Ejecutar" –. > "Ejecutar configuraciones", complete "local" en la columna correspondiente en el cuadro emergente, lo que indica que el parámetro se pasará a la función principal, como se muestra en la figura siguiente, y luego haga clic en "Ejecutar" -> " Ejecutar” para ejecutar el programa.
Si desea empaquetar el programa en un paquete jar y ejecutarlo en el cluster Spark a través de la línea de comando, puede seguir los siguientes pasos:
Seleccione "Archivo" –> "Estructura del proyecto" -> "Artefacto", seleccione "+" -> "Jar" -> "De módulos con dependencias", seleccione la función principal, seleccione la ubicación del jar de salida en el cuadro emergente y seleccione " DE ACUERDO".
Finalmente, seleccione “Construir” –> “Construir artefacto” para compilar y generar el paquete jar. Los detalles se muestran en la siguiente figura.