¿Cuál es el impacto de colocar un controlador de chispa grande?

Configurarlo demasiado grande puede exceder la memoria (dependiendo de spark.driver.memory y la sobrecarga de memoria de los objetos en la JVM).

El límite de tamaño total de los resultados serializados de todas las particiones por Sparkaction (por ejemplo, el operador de acción de recopilación). Debe ser al menos 1 millón o ilimitado. Si excede 1 g, el trabajo se cancelará.