¿Cuáles son las tecnologías de consulta y análisis de big data?

El trabajo principal de Hive es traducir declaraciones SQL en programas MR, mapeando así datos estructurados en una única tabla de base de datos y proporcionando funciones de consulta HQL (Hive SQL). Hive en sí no almacena ni calcula datos, se basa completamente en HDFS y MapReduce.

Hive está especialmente diseñado para el procesamiento por lotes de big data. Su aparición resuelve el problema de los cuellos de botella de las bases de datos relacionales tradicionales (MySql, Oracle) al procesar big data. Hive divide el plan de ejecución en map-gt; shuffle-gt; reduce-gt;

Impala es un complemento de Hive y se utiliza para implementar consultas SQL eficientes. Implemente SQL en Hadoop utilizando Impala para el análisis de consultas de big data en tiempo real.

Hive es adecuado para el análisis de consultas por lotes a largo plazo, mientras que Impala es adecuado para consultas SQL interactivas en tiempo real. Impala proporciona a las personas de datos una herramienta de análisis de big data para que pueda experimentar y verificar ideas rápidamente. use Hive realiza la conversión y el procesamiento de datos, y luego usa Impala para realizar un análisis rápido de datos en el conjunto de datos procesados ​​​​por Hive.

Herramientas profesionales de análisis de datos para análisis de big data.

Spark tiene la funcionalidad de Hadoop MapReduce, que puede guardar la salida intermedia del trabajo en la memoria, eliminando la necesidad de leer HDFS. Spark puede lograr la distribución de memoria de conjuntos de datos y, además de proporcionar consultas interactivas, también puede optimizar cargas de trabajo iterativas. Institución de formación en big data de Chengdu Jiami Valley, enseñanza en clases reducidas, prueba gratuita. Spark se implementa en lenguaje Scala y utiliza Scala como marco de aplicación. A diferencia de Hadoop, Spark y Scala se pueden integrar estrechamente y Scala puede operar en conjuntos de datos distribuidos tan fácilmente como los objetos de colección local.

Lvteng está aquí para compartir con usted qué son las tecnologías de análisis y consulta de big data. Si tiene un gran interés en la ingeniería de big data, espero que este artículo le resulte útil. Si desea saber más sobre las habilidades y la información de los analistas de datos y los ingenieros de big data, puede hacer clic en otros artículos de este sitio para obtener más información.