La diferencia entre tez y spark

Tez tiene las ventajas de Spark, y Tez en realidad tiene poca ventaja de amortiguación. El efecto amortiguador de la chispa es más obvio y puede regresar rápidamente. Por ejemplo: si verifica 30,000 datos, tez necesita consultarlos todos y luego devolverlos, pero si sparksql recupera 30,000 datos, el resto no se contará (el efecto se ve así, pero no lo he hecho). miré la implementación del código fuente para obtener más detalles; md hive-on-Spark seguirá ejecutando todo).

¡El búfer de tareas tez no se puede compartir por completo! Spark es más detallado y puede tener almacenamiento en búfer a nivel de proceso (es decir, utilizando el último resultado calculado y el último búfer cargado). Por ejemplo, si verifica los registros de datos y devuelve el recuento al mismo tiempo, algunas operaciones están en el nivel de proceso_local, ¡y este tez es incomparable!

La interfaz de usuario de registro de Spark parece más conveniente, jaja