No se puede acceder a la página Spark 4040. Si usa Spark-Shell para iniciar el escritor, aparecerá la página 4040

Solo se puede acceder a la página 4040 cuando se ejecuta una tarea de Spark, puede encontrar declaraciones similares en el registro de acceso a la tarea y Spark-UI se inicia después de enviar la tarea.

Una vez completada la tarea, el puerto se libera inmediatamente.

Por lo tanto, se recomienda configurar la página de historial de Spark para ver las tareas completadas una vez completada la ejecución. Los siguientes son pasos de configuración simples. Para obtener más detalles, consulte el tutorial de Baidu.

spark-default.conf configura los siguientes parámetros

spark.eventLog.enabled? true

spark.eventLog.dir hdfs://hadoopmaster:8020 /user/spark_ event_log

spark.history.fs.logDirectory hdfs://hadoopmaster:8020/user/spark_event_log

¿webui?