Red de conocimiento informático - Problemas con los teléfonos móviles - Spark puede ejecutar udf, pero no udaf. ¿Por qué? Ciencia popular SparkSpark ¿Cómo utilizar Spark 1? Las chispas se basan en cálculos de tela (simples). 2.Spark es lo mismo que MapReduce. 3.Spark es mejor que Hadoop. 4. Las chispas son limitadas. 5. Esta situación es adecuada para usar Spark Graph" class="ikqb_img_alink " > Spark UC Berkeley AMPLab's Hadoop map reduce class marco computacional paralelo general Spark implementa el cálculo de diseño basado en el cálculo de reducción de mapas y tiene las ventajas de Hadoop MapReduce. Igual que map reduceJob , guardar La memoria debe leerse y escribirse nuevamente. HDFSSpark puede ser más adecuado para la minería de datos y el aprendizaje automático que requieren cálculos iterativos de MapReduce. Su diagrama de arquitectura se muestra en la figura. En comparación con Spark, el almacenamiento de datos entre Spark y Hadoop es más eficiente en operaciones iterativas. Spark es más adecuado para operaciones iterativas. Comparación de operaciones MLDM en superficies Spark Abstracción RDD Spark es más versátil que Hadoop. Spark proporciona tipos de operaciones de conjuntos de datos, como Hadoop proporciona MapReduce. Ambas operaciones son mejores que map, filter y flatMap. Ejemplos, agrupar por palabra clave, reducir por palabra clave, unión, concatenar, coagrupar, asignar valores, ordenar, agrupar por parte, etc. Algunas operaciones se denominan transformaciones y proporcionan operaciones como contar, recopilar, reducir, buscar, guardar, etc. Algunos tipos de operaciones de conjuntos de datos brindan a los usuarios un modelo de comunicación conveniente entre los nodos de procesamiento y luego, como el modelo aleatorio de datos puro de Hadoop, los nombres de usuario, Materializar y controlar el almacenamiento conectado. El modelo de programación es más flexible que Hadoop. Debido a la naturaleza de RDD, Spark es adecuado para aplicaciones de actualización de estado detalladas asíncronas. Almacenamiento de servicios web o índice de rastreador web incremental para modificaciones incrementales. Este modelo de aplicación es adecuado para la informática de conjuntos de datos distribuidos tolerante a fallos. Los puntos de control se utilizan para lograr tolerancia a fallas. El usuario controla el registro de datos de puntos de control actualizados. ¿Qué fórmula se utiliza para lograr la tolerancia a fallos? Spark proporciona Scala enriquecido, API JavaPython y shell interactivo para mejorar la usabilidad. Spark y Hadoop se combinan con Spark para leer y escribir datos directamente en HDFS. Spark y MapReduce en YARNSpark se ejecutan en el mismo clúster * * * Recursos de almacenamiento compartidos y almacén de datos informáticos. La implementación de Shark toma prestado de Hive y es casi totalmente compatible con Hive. Escenarios de aplicaciones de Spark El marco informático iterativo basado en Spark es adecuado para aplicaciones que necesitan operar conjuntos de datos específicos. Cuantas más operaciones repetidas se requieran, más datos deberán leerse y mayor será el beneficio de la densidad informática de datos. Comparando la situación (si la arquitectura de la base de datos considera el uso de elementos importantes de Spark), Spark es adecuado para detalles asincrónicos debido a sus características RDD. El almacenamiento de servicio web de instancia de aplicación de estado de actualización granular o el índice incremental del rastreador web son adecuados para modificaciones incrementales del modelo de aplicación. En general, Spark tiene una amplia gama de aplicaciones y sus métodos operativos también son muy comunes. Este modo Modo independiente Modo Mesoes Modo hilo Estado de chispa Tiburón (Hive on Sparks) :La base básica del marco Spark de Shark proporciona una interfaz de comando HiveH iveQL para mantener la compatibilidad con Hive. Shark usa HiveAPI para implementar el análisis de consultas, la generación del plan lógico y la fase de ejecución de la LAN física, y usa Spark en lugar de Hadoop MapReduce para configurar Sha. Parámetro rk Shark almacena en caché RDD específicos de la memoria para implementar la reutilización de datos y acelerar la recuperación de conjuntos de datos específicos. Shark utiliza funciones personalizadas de UDF para implementar análisis y cálculos de datos específicos, combinando el análisis de consultas de datos SQL con la reutilización de RDD. Spark Streaming: el principio básico de Spark para crear un marco para procesar datos de transmisión es similar al procesamiento por lotes. Los datos de Spark Streaming en el departamento de procesamiento se utilizan para construir un motor de ejecución Spark de baja latencia (más de 100 ms) para cálculos reales.