La ejecución por lotes de Spark tiene problemas. Por favor, dígame cómo solucionarlo.

En términos de estabilidad, debido a problemas de calidad del código, Spark a menudo encuentra errores que tardan demasiado en ejecutarse. En términos de arquitectura, debido a que una gran cantidad de datos se almacena en caché en la RAM, la recolección de basura de Java es lenta y grave, lo que hace que Spark sea inestable. rendimiento En escenarios complejos, el rendimiento de SQL es incluso peor que el de Map/Reduce existente.

No puede manejar big data. Cuando la cantidad de datos procesados ​​por una sola máquina es demasiado grande, o cuando los resultados intermedios exceden el tamaño de la RAM debido a problemas de datos, el espacio de la RAM a menudo se agota o no se pueden generar resultados. Sin embargo, el marco informático Map/Reduce puede manejar big data y Spark no es tan eficaz como el marco informático Map/Reduce en este sentido.

No se pueden admitir estadísticas SQL complejas; la integridad actual de la sintaxis SQL admitida por Spark no se puede aplicar al análisis de datos complejos. En términos de manejabilidad, la combinación de SparkYARN no es perfecta, lo que causa preocupaciones ocultas durante el uso y es propensa a diversas dificultades.