Cómo ejecutar un script en Python que contiene Spark
~spark$ bin/spark-submit first.py
-----------first.py----------- --------------------
de pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local ").setAppName("Mi aplicación")
sc = SparkContext(conf = conf)
lines = sc.textFile("first.py")
pythonLines = líneas.filter(línea lambda: "Python" en línea)
imprimir "hola python"
imprimir pythonLines.first()
imprimir pythonLines .first()
imprimir "¡hola chispa!"
-------------------------- -----------------------
hola python
pythonLines = líneas.filtro(línea lambda: "Python " en línea)
pythonLines =lines.filter(línea lambda: "Python" en línea)
¡hola spark!
Vaya al directorio de instalación de Spark. descargue spark-submit ***.py en /bin