¿Cómo funciona Sqoop?
Sqoop también se basa en Mapreduce para completar la importación de datos.
Acerca del principio de sqoop
El principio de sqoop es relativamente simple, que consiste en leer datos de la base de datos e importarlos a hive o hdfs de acuerdo con los parámetros sql o de campo especificados. por el usuario. También admite la exportación basada en la herramienta de exportación de la base de datos, pero está limitada por la versión de la base de datos.
Durante el proceso de exportación, sqoop reducirá automáticamente las tareas de mapreduce. Por ejemplo, si la clave principal de un campo es de 1 a 1000, cuando num-mappers se establece en 2, la primera tarea mr leerá datos del 1 al 500 y la segunda tarea mr leerá datos del 500 al 1000. . Hay otras formas de dividir una cadena.
Acerca de la arquitectura
Actualmente, existen dos versiones principales de sqoop. La primera versión es relativamente simple y solo se puede usar en la línea de comando
La segunda versión presenta el servidor sqoop, que unifica el procesamiento de la conexión y otra información, proporciona una variedad de métodos de conexión y también presenta El control de permisos y la configuración de conexiones están estandarizados.