Red de conocimiento informático - Conocimiento informático - Cómo ejecutar un script en Python que contiene Spark

Cómo ejecutar un script en Python que contiene Spark

~spark$ bin/spark-submit first.py

-----------first.py----------- --------------------

de pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local ").setAppName("Mi aplicación")

sc = SparkContext(conf = conf)

lines = sc.textFile("first.py")

pythonLines = líneas.filter(línea lambda: "Python" en línea)

imprimir "hola python"

imprimir pythonLines.first()

imprimir pythonLines .first()

imprimir "¡hola chispa!"

-------------------------- -----------------------

hola python

pythonLines = líneas.filtro(línea lambda: "Python " en línea)

pythonLines =lines.filter(línea lambda: "Python" en línea)

¡hola spark!

Vaya al directorio de instalación de Spark. descargue spark-submit ***.py en /bin