Quiero aprender el código fuente de Spark y cómo configurar el entorno de lectura y depuración.
(1) Trabajo de preparación
1) Instale JDK 6 o JDK 7
2) Instale Scala. 2.10.x (tenga en cuenta la versión)
3) Descargue y descomprima Intellij IDEA y luego instale el complemento Scala. El proceso es el siguiente:
Seleccione "Configurar" -. > "Complementos" -> "Buscar repositorios", ingrese scala y luego instale
(2) Configure el entorno de lectura del código fuente de Spark (requiere conexión a Internet)
El primer método es para seleccionar directamente "importar proyecto" -> seleccione "importar proyecto" -> luego seleccione "Spark" -> luego seleccione "Spark" ->.-> seleccione el directorio donde se encuentra Spark -> "SBT", luego intellij lo hará automáticamente identifique el archivo SBT y descargue el paquete jar externo dependiente. Todo el proceso lleva mucho tiempo, dependiendo del entorno de red de la máquina (no se recomienda operar en Windows, ya que puede encontrar varios problemas), y generalmente demora. unos minutos a unas pocas horas. Cabe señalar que git se utilizará durante el proceso de descarga, por lo que debes instalar git con anticipación.
El segundo método consiste en generar primero el archivo del proyecto intellij en el sistema operativo Linux y luego abrir el proyecto directamente a través de "Abrir proyecto" en intellij IDEA. El segundo método consiste en generar primero el archivo de proyecto intellij en el sistema operativo Linux y luego abrir el proyecto directamente a través de "Abrir proyecto" en intellij IDEA. El método para generar archivos de proyecto intellij en Linux (es necesario instalar git, no es necesario instalar scala, sbt se descargará automáticamente) es: en el directorio raíz del código fuente de Spark, escriba sbt/sbt gen-idea
Nota: si lee el código fuente en Windows, se recomienda generar primero el archivo del proyecto en Linux y luego importarlo a Windows. 10-0.9.0-incubating-hadoop2.2.0.jar (solo necesita importar este jar, no se necesita nada más), si el IDE no reconoce la biblioteca Scala, debe importar la biblioteca Scala de la misma manera. Después de eso, puede desarrollar el programa Scala:
Después de escribir el programa Scala, puede ejecutarlo directamente en modo local en intellij. El método específico es el siguiente:
Haga clic en ". Ejecutar"-> "Ejecutar configuraciones" y luego haga clic en "Ejecutar configuraciones". "Ejecutar configuración", complete "local" en la columna correspondiente en el cuadro emergente, es decir, pase los parámetros a la función principal, como se muestra en la figura siguiente, y luego haga clic en "Ejecutar" -> "Ejecutar" para ejecutar el programa. "Jar" -> "De módulos con dependencias", seleccione la función principal, seleccione la ubicación del jar de salida en el cuadro emergente y luego seleccione "Aceptar".
Finalmente, seleccione "Construir" -> "Construir artefacto" para compilar el paquete jar.