Publicado por Microsoft. NET para Apache Spark, aplastando Python, Scala y Java.

La imagen de arriba muestra Apache Spark y . NET para Python y Scala. NET para Apache Spark funciona bien en Python y Scala. Además, hay ocasiones en las que el rendimiento de la UDF es crítico, como en la Consulta 1, donde se pasan 3B de filas de datos que no son cadenas entre la JVM y el CLR. NET, Apache Spark es dos veces más rápido que Python.

Igualmente importante, este es nuestro primer lanzamiento. NET para Apache Spark, nuestro objetivo es invertir más en mejoras y rendimiento comparativo (como optimizaciones de Arrow). Puede comparar esto en nuestro repositorio de GitHub siguiendo nuestras instrucciones.

NET para Apache Spark es el primer paso de la transición. NET se ha convertido en una importante pila tecnológica para crear aplicaciones de big data. Ruta de planificación a corto plazo

Dirección de código abierto:/dotnet/spark