Cómo instalar y configurar pyspark notebook en Windows
Primero instale el entorno de chispa.
Luego instala anaconda.
Si tanto Spark como Anaconda están instalados, agregue variables de entorno directamente. La primera variable es PYSPARK_DRIVER_PYTHON: jupyter. De esta manera, si se inicia desde la línea de comando (el inicio con doble clic no funciona), puede abrir el servicio web en el cuaderno y ejecutar el script py en Spark