Cómo crear un entorno de desarrollo IDEA para Spark en un entorno Linux

Tenga en cuenta que los directorios de instalación de hadoop, spark y scala en el cliente y el clúster virtual son los mismos, al desarrollar aplicaciones Spark, no es necesario empaquetar el paquete de desarrollo Spark ni los archivos de la biblioteca Scala, lo que reduce la E/S de red innecesaria. y disco IO. Por supuesto, puede ser diferente, pero debe especificar el classpath como parámetro cuando utilice la herramienta de implementación Spark-Submit.

1: Instalación de IDEA

Descargue IntelliJ IDEA desde el sitio web oficial jetbrains.com. Hay ediciones comunitarias y ediciones Ultimate. La primera es gratuita y los usuarios pueden elegir la correspondiente. versión a utilizar.

Después de instalar IDEA de acuerdo con la guía de instalación, debe instalar el complemento Scala. Hay dos formas de instalar el complemento Scala:

Iniciar IDEA -> Bienvenido. a IntelliJ IDEA -> Configurar -> Complementos -> Instalar el complemento JetBrains... -Busque Scala e instálelo.

Inicie IDEA -> Bienvenido a IntelliJ IDEA -> Abrir proyecto -> Archivo -> Configuración -> Complementos -> Instalar el complemento JetBrains... -> Busque Scala e instálelo. -Busca Scala e instálalo.

Si desea utilizar una interfaz con fondo negro, seleccione Darcula en Archivo -> Configuración -> Apariencia -> Tema y cambie la fuente predeterminada; de lo contrario, las fuentes chinas en el menú no se mostrarán correctamente.