Cómo entender cómo funciona Hive en lenguaje sencillo

Hive es una infraestructura de almacén de datos construida sobre Hadoop. Hive define un lenguaje de consulta simple similar a SQL llamado HQL, que permite a los usuarios familiarizados con SQL consultar datos. El lenguaje también permite a los desarrolladores familiarizados con MapReduce desarrollar mapeadores y reductores personalizados para manejar análisis complejos que no pueden ser realizados por los mapeadores y reductores integrados.

Los pasos generales del proceso son los siguientes:

1.

2.

3. El compilador va a MetaStore y obtiene la información de metadatos requerida de Hive según la tarea del usuario.

4. Compilador El compilador obtiene información de metadatos y compila tareas. Primero convierte HiveQL en un árbol de sintaxis abstracta, luego convierte el árbol de sintaxis abstracta en un bloque de consulta y convierte el bloque de consulta en un plan de consulta lógico. y se repite Escriba un plan de consulta lógico, convierta el plan lógico en un plan físico (MapReduce) y elija la mejor estrategia.

5.

6. El controlador envía el plan a ExecutionEngine para su ejecución, obtiene información de metadatos y la envía a JobTracker o SourceManager para ejecutar la tarea. Archivo HDFS para realizar las operaciones apropiadas.

7. Obtener resultados de ejecución.

8. Obtener y devolver resultados de ejecución.

8. Obtener y devolver resultados de ejecución.