Red de conocimiento informático - Conocimiento informático - Cómo entender cómo funciona Hive en lenguaje sencillo

Cómo entender cómo funciona Hive en lenguaje sencillo

Hive es una infraestructura de almacén de datos construida sobre Hadoop. Hive define un lenguaje de consulta simple similar a SQL llamado HQL, que permite a los usuarios familiarizados con SQL consultar datos. El lenguaje también permite a los desarrolladores familiarizados con MapReduce desarrollar mapeadores y reductores personalizados para manejar análisis complejos que no pueden ser realizados por los mapeadores y reductores integrados.

Los pasos generales del proceso son los siguientes:

1.

2.

3. El compilador va a MetaStore y obtiene la información de metadatos requerida de Hive según la tarea del usuario.

4. Compilador El compilador obtiene información de metadatos y compila tareas. Primero convierte HiveQL en un árbol de sintaxis abstracta, luego convierte el árbol de sintaxis abstracta en un bloque de consulta y convierte el bloque de consulta en un plan de consulta lógico. y se repite Escriba un plan de consulta lógico, convierta el plan lógico en un plan físico (MapReduce) y elija la mejor estrategia.

5.

6. El controlador envía el plan a ExecutionEngine para su ejecución, obtiene información de metadatos y la envía a JobTracker o SourceManager para ejecutar la tarea. Archivo HDFS para realizar las operaciones apropiadas.

7. Obtener resultados de ejecución.

8. Obtener y devolver resultados de ejecución.

8. Obtener y devolver resultados de ejecución.