Red de conocimiento informático - Material del sitio web - Cómo sincronizar datos HDFS de múltiples clústeres

Cómo sincronizar datos HDFS de múltiples clústeres

1. Sincronice datos con la misma versión de Hadoop.

Hadoop distcp-skipcrcheck-update-m 20 HDFS://dchadoop 002. dx: 8020/user/DC/warehouse/test/user/DC/warehouse/test

2 .Sincronizar datos en diferentes versiones de hadoop.

Hadoop distcp-skipcrcheck-update-m 20 hftp://ns 1/user/test/user/DC/test

Parámetros:

-m Indica el número de concurrencias.

-skip rcheck omite la comprobación de HDFS.

-Actualizar archivos de actualización