Cómo usar eclipse para escribir un programa mapreduce

Pasos para usar eclipse para escribir programas mapreduce:

1. Instale el complemento de hadoop para eclipse Nota: la versión del complemento debe ser coherente con la versión de hadoop.

Descargar: hadoop-eclipse-plugin-2.5.2.jar

nic.cn/apache/hadoop/common/hadoop-2.5.2/

¿Buscar WordCount.java en el directorio de ejemplos hadoop-2.5.2-src? Copie java al src del proyecto myhadoop que acaba de crear

Cree el archivo de fuente de datos word.txt

Cree el directorio de entrada en HDFS y luego transfiera word.txt a HDFS

$hadoop fs -mkdir /tmp/input

$hadoop fs -copyFromLocal /home/hadoop/word.txt /tmp/input/word.txt

Vuelva a actualizar DFS en eclipse y verá

Ejecute WordCount.java

(1) En el nuevo proyecto Hadoop, haga clic en WordCount.java, haga clic derecho en -gt. ; Ejecutar como--gt ; Ejecutar configuraciones

(2) En el cuadro de diálogo emergente Ejecutar configuraciones, haga clic en Aplicación Java, haga clic derecho -> Nuevo y se creará una nueva aplicación llamada WordCount.

(3). Configure los parámetros de ejecución, haga clic en Argumentos e ingrese la carpeta de entrada que desea pasar al programa y la carpeta donde desea que el programa guarde los resultados del cálculo en Argumentos del programa, como por ejemplo:

hdfs:// 10.6.9.226: 9000/tmp/input/word.txt hdfs://10.6.9.226: 9000/tmp/output

Haga clic en Ejecutar, actualice Ubicaciones DFS una vez finalizada la ejecución, verá la carpeta de salida