Cómo configurar el entorno de desarrollo de aplicaciones hadoop basado en eclipse
Sistema operativo centos5.5, un nodo de nombre y dos nodos de datos
Versión de Hadoop: hadoop-0.20.203.0
Versión de Eclipse: eclipse-java-helios-SR2 - linux-gtk.tar.gz (La versión 3.7 siempre falla, lo cual es frustrante)
El primer paso: inicie primero el demonio hadoop
El segundo paso: en eclipse Instale el complemento de hadoop
1. Copie el directorio de instalación de hadoop/contrib/eclipse-plugin/hadoop-0.20.203.0-eclipse-plugin.jar al directorio de instalación de eclipse/plugins/.
2. Reinicie eclipse y configure el directorio de instalación de hadoop.
Si el complemento se instaló correctamente, abra Ventana-->Preferencias, encontrará la opción Hadoop Map/Reduce, en la que deberá configurar el directorio de instalación de Hadoop. Salga una vez completada la configuración.
3. Configurar Mapa/Reducir Ubicaciones.
Abrir mapa/Reducir ubicaciones en ventana-->Mostrar vista.
Cree una nueva ubicación de Hadoop en Mapa/Reducir ubicaciones. En esta vista, haga clic derecho-->Nueva ubicación de Hadoop. En el cuadro de diálogo emergente, debe configurar el nombre de la Ubicación, como Hadoop, Map/Reduce Master y DFS Master. El host y el puerto aquí son la dirección y el puerto que configuró en mapred-site.xml y core-site.xml respectivamente. Por ejemplo:
Mapa/Reducir Maestro
192.168.1.101
9001
DFS Maestro
192.168. 1.101
9000
Salir después de completar la configuración. Haga clic en Ubicaciones DFS-->Hadoop. Si se puede mostrar la carpeta (2), la configuración es correcta. Si se muestra "Conexión rechazada", verifique su configuración.
Paso 3: Crea un nuevo proyecto.
Archivo-->Nuevo-->Otro-->Asignar/Reducir proyecto
El nombre del proyecto se puede elegir de forma informal, como WordCount.
Copie el directorio de instalación de hadoop/src/example/org/apache/hadoop/example/WordCount.java al proyecto recién creado.
Paso 4: Sube la carpeta de datos de simulación.
Para poder ejecutar el programa necesitamos una carpeta de entrada y una carpeta de salida.
Crear un nuevo archivo word.txt localmente
java c++ python c
java c++ javascript
helloworld hadoop
mapreduce java hadoop hbase
Cree el directorio /tmp/workcount en HDFS mediante el comando hadoop. El comando es el siguiente: bin/hadoop fs -mkdir /tmp/wordcount
Usar. el comando copyFromLocal para copiar el Word.txt local a HDFS, el comando es el siguiente: bin/hadoop fs -copyFromLocal /home/grid/word.txt /tmp/wordcount/word.txt
Paso 5: Ejecute el proyecto
1. En el proyecto Hadoop recién creado, haga clic en WordCount.java, haga clic derecho-->Ejecutar como-->Ejecutar configuraciones
2. cuadro de diálogo emergente Ejecutar configuraciones, haga clic en Aplicación Java, haga clic derecho -->Nuevo y se creará una nueva aplicación llamada WordCount
3. la carpeta de entrada que desea pasar al programa y el programa que necesita" en Argumentos del programa. La carpeta para guardar los resultados del cálculo", como por ejemplo:
hdfs://centos1:9000/tmp/wordcount /word.txt hdfs://centos1:9000/tmp/wordcount/out
4. Si se está ejecutando, java.lang.OutOfMemoryError: argumentos de la VM de configuración del espacio de almacenamiento dinámico de Java (en Argumentos del programa)
-Xms512m -Xmx1024m -XX:MaxPermSize=256m