Red de conocimiento informático - Conocimiento del nombre de dominio - Cómo crear un entorno hadoop en Windows

Cómo crear un entorno hadoop en Windows

1. Descargue e instale JDK y Eclipse

Consulte este enlace para obtener más detalles: /weixuehao/article/details/17715793

2 Cree un nuevo proyecto JAVA

3. Vaya al sitio web de Cloudera para descargar la versión CDH3u6 de hadoop. La versión CDH3u6 de hadoop se proporciona en el sitio web de Cloudera.

4. Seleccione OperateHDFS, haga clic derecho, seleccione "Propiedades" y aparecerá la ventana derecha.

Seleccione "Ruta de compilación de Java"--"Bibliotecas"--" Agregar archivos jar externos "

5. Después de llegar a la interfaz anterior, aquí hay algunos paquetes jar utilizados al desarrollar programas hadoop.

Agregue todos los paquetes jar en la carpeta lib; cambie el rojo paquete jar en la caja e instálelo.

6. Cree una carpeta de configuración

7. Coloque core-site.xml, hdfs-site.xml, mapred-site.xml en esta carpeta.

8. Haga clic derecho en gt; propiedades y realice las siguientes operaciones para agregar la carpeta conf recién creada

¡La configuración está completa!

En el proceso de escritura del código, escriba las direcciones de namenode y jobtracker (cámbielas por las suyas propias)

En su código, agregue el siguiente código

Configuración conf = nueva configuración();

conf.set("fs.default.name", "192.1.1.2:9000");

conf.set("mapred.job . tracker", "192.1.1.2:9001");

Configuración conf = nueva Configuración();

conf.