Cómo instalar Spark en Windows 7

De hecho, lo que quiero decir es que algunas de mis experiencias en el aprendizaje de Hadoop han sido muy útiles para aprender y comprender Spark ahora, especialmente después de configurar Hadoop varias veces. Ahora la instalación de los comandos básicos de Linux y Spark también es relativamente sencilla. sé dónde me lo perdí.

Por supuesto, el primer paso es configurar el entorno Spark: incluida la instalación del sistema Linux, Java, ssh, Hadoop, Scala, la instalación Spark y la configuración de variables de entorno. Aunque sencillo, sigue siendo algo difícil para los principiantes, especialmente para aquellos que nunca han utilizado un sistema Linux. Cualquier detalle faltante dará lugar a errores.

Paso 2: Aprendizaje de Java. Si conoce Java, puede ignorarlo. Si no conoce Java, se recomienda no aprenderlo. Aunque puede omitir Java y aprender Scala directamente, después de todo, Scala y Java suelen estar estrechamente relacionados. comparados en los libros de texto. El mayor miedo es no poder entender.

Paso 3: Aprendizaje de Hadoop. Spark también necesita obtener datos en HDFS. Solo aprendiendo Hadoop se pueden conocer sus deficiencias, comprender las ventajas de Spark y por qué Hadoop debe morir. También se deben dominar las instrucciones de funcionamiento en HDFS. Sería incluso mejor si pudieras escribir programas MapReduce. (No lo sé).

Paso 4: aprenda Scala. Programación funcional, la clave es entender esto. Usar algunos rasgos, etc., conocer Java son todos acompañamientos, la esencia es la misma, pero la expresión es diferente. entonces. Una vez más enfatizamos la necesidad de aprender JAVA. Para mí, no necesito aprender programación Scala en profundidad, solo necesito poder entenderlo y usar Scala para operar RDD. No aprenderé la complicada programación avanzada más adelante, la revisaré más tarde cuando sea necesario.

Paso 5: Generar aprendizaje. Por supuesto, la mejor manera de aprender Spark es leer documentos oficiales, leer el código fuente, leer blogs (los blogs son demasiado simples y no tienen una profundidad especial), leer artículos sobre RDD, cómo programar trabajos, etc. Para los niños cuyo dominio del inglés no es alto y que tienen dificultades para leer documentos oficiales, recomiendo la traducción al chino de los documentos oficiales de Xinghuo de cierto instituto de investigación, que es bastante completa. No se recomienda comprar libros nacionales para leer, si quieres leerlos como referencia, eso es todo. Entonces, si está interesado, puede ir a Xinghuo para echar un vistazo. Las traducciones de documentos oficiales de Xinghuo siguen siendo muy buenas. Los niños que estén interesados ​​pueden ir a Xinghuo para echar un vistazo.