Cómo usar eclipse para escribir un programa mapreduce
Pasos para usar eclipse para escribir programas mapreduce:
1. Instale el complemento de hadoop para eclipse Nota: la versión del complemento debe ser coherente con la versión de hadoop.
Descargar: hadoop-eclipse-plugin-2.5.2.jar
nic.cn/apache/hadoop/common/hadoop-2.5.2/
¿Buscar WordCount.java en el directorio de ejemplos hadoop-2.5.2-src? Copie java al src del proyecto myhadoop que acaba de crear
Cree el archivo de fuente de datos word.txt
Cree el directorio de entrada en HDFS y luego transfiera word.txt a HDFS
p>$hadoop fs -mkdir /tmp/input
$hadoop fs -copyFromLocal /home/hadoop/word.txt /tmp/input/word.txt
Vuelva a actualizar DFS en eclipse y verá
Ejecute WordCount.java
(1) En el nuevo proyecto Hadoop, haga clic en WordCount.java, haga clic derecho en -gt. ; Ejecutar como--gt ; Ejecutar configuraciones
(2) En el cuadro de diálogo emergente Ejecutar configuraciones, haga clic en Aplicación Java, haga clic derecho -> Nuevo y se creará una nueva aplicación llamada WordCount.
(3). Configure los parámetros de ejecución, haga clic en Argumentos e ingrese la carpeta de entrada que desea pasar al programa y la carpeta donde desea que el programa guarde los resultados del cálculo en Argumentos del programa, como por ejemplo:
hdfs:// 10.6.9.226: 9000/tmp/input/word.txt hdfs://10.6.9.226: 9000/tmp/output
Haga clic en Ejecutar, actualice Ubicaciones DFS una vez finalizada la ejecución, verá la carpeta de salida