Configuración predeterminada de la vista Pyspark

Para ver la configuración predeterminada, pyspark necesita aumentar el puerto predeterminado configurado.

SparkContext es la entrada a la función Spark. El método de inicialización SparkContext() puede configurar Spark con parámetros, pero primero buscará el parámetro conf. El parámetro conf corresponde a la configuración en la clase SparkConf () y luego llama al método para garantizar que SparkContext solo se cree en el controlador y finalmente se obtiene un objeto SparkContext (sc);

Devuelve objetos RDD mediante el método paraleloize() o textFile().

Paralelización: pase los datos usted mismo y luego devuelva un objeto RDD. Archivo de texto: lea el archivo (HDFS, sistema local, etc.) para codificación UTF-8 y devuelva un objeto RDD.