¿Cómo funciona Sqoop?

Sqoop es una herramienta para importar datos desde una base de datos relacional a hdfs o hive. Por supuesto, también admite la importación de datos desde hdfs o hive a una base de datos relacional.

Sqoop también se basa en Mapreduce para completar la importación de datos.

Acerca del principio de sqoop

El principio de sqoop es relativamente simple, que consiste en leer datos de la base de datos e importarlos a hive o hdfs de acuerdo con los parámetros sql o de campo especificados. por el usuario. También admite la exportación basada en la herramienta de exportación de la base de datos, pero está limitada por la versión de la base de datos.

Durante el proceso de exportación, sqoop reducirá automáticamente las tareas de mapreduce. Por ejemplo, si la clave principal de un campo es de 1 a 1000, cuando num-mappers se establece en 2, la primera tarea mr leerá datos del 1 al 500 y la segunda tarea mr leerá datos del 500 al 1000. . Hay otras formas de dividir una cadena.

Acerca de la arquitectura

Actualmente, existen dos versiones principales de sqoop. La primera versión es relativamente simple y solo se puede usar en la línea de comando

La segunda versión presenta el servidor sqoop, que unifica el procesamiento de la conexión y otra información, proporciona una variedad de métodos de conexión y también presenta El control de permisos y la configuración de conexiones están estandarizados.