Cómo compilar usted mismo el complemento Hadoop Eclipse
1. Implemente hadoop en un entorno Linux pseudodistribuido (sin inicio de sesión SSH) y ejecute correctamente la instancia de WordCount. blogs.com/PurpleDream/p/4009070.html
2. Empaquete usted mismo el complemento de hadoop en eclipse. blogs.com/PurpleDream/p/4014751.html
3. Acceda a hadoop en eclipse y ejecute WordCount correctamente.
Así que registraré mi proceso en tres partes a continuación para mi propia referencia en el futuro. Si puede ayudar a otras personas, ¡será mejor!
============================================ = ====================Línea divisoria larga=========================== = ==========================================
Texto :
Si desea instalar el complemento Hadoop en Eclipse, un problema muy importante es la coincidencia entre la versión de Hadoop y la versión de Eclipse. Si no coinciden, puede causar muchos problemas.
En resumen, después de completar la instalación de hadoop en el sistema Linux CentOS y simplemente ejecutar WordCount (consulte el enlace del blog en el prefacio de este artículo para obtener más detalles), centré mi aprendizaje en el complemento eclipse. en de hadoop. De hecho, hay algunos artículos en Internet que presentan cómo escribir complementos, pero como mi versión de eclispe es Juno y la instalación anterior en CentOS fue hadoop-1.0.1, no encontré ningún caso exitoso que coincida completamente. . Así que finalmente decidí mutar mi propio complemento de hadoop.
Después de tener esta idea, será muy difícil al principio, pero después de implementarla, descubrirá que muchos problemas se pueden resolver siempre que sepa cómo usar Baidu y Google, consulte. Para más Si absorbes la esencia de los artículos de otras personas, definitivamente tendrás éxito al final.
El primer paso es determinar el proceso general:
1. Primero necesito la compilación ant, luego el paquete de instalación hadoop-1.0.1.tar.gz y eclipse.
2. Para mi propio entorno, la computadora es Win7 y el eclispe es Juno. Descargué hadoop-1.0.1.tar.gz, pero ant no se ha instalado antes.
El segundo paso, instalar ant:
1. Me refiero a este artículo pila" depend="init, ivy-retrieve-common" a menos que="skip.contrib" >
02.
03.
04. encoding="${build.encoding}" 05. srcdir="${src.dir} " 06. includes="**/*.java" 07. destdir="${build.classes} " 08. debug="${javac.debug}" 09. deprecation="${ javac. en desuso}" 10. includeantruntime="on"> 11. 12. 13. ( 3) Agregue: ¿ver código fuente? 1. 2. 3. 4. 5. 6. 7. (4). "jar" depende="compile" a menos que="skip.contrib">En esta etiqueta, en ver sourceprint? 1. e="true"/> 2. 4. 5. El efecto final es el siguiente: sigue: ver código fuente? 01. 02. 03. 04. 05. 06. 07. 08. 10. 11. 12. 13. 1 4. jarfile="${build.dir}/hadoop-${name}-${version}.jar" 15. manifiesto ="${root}/META-INF/MANIFEST.MF"> 16. 17. 18. 19. (5). del archivo Agregar configuración antes: ver código fuente? 1. 2. 3. 4. 5. 5 Abra el directorio de descompresión de hadoop -1.0.1 (el mío es D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1), copie los dos paquetes jar a la carpeta del directorio correspondiente, con mi estructura de directorio de archivos, por ejemplo. : (1). Copie D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\hadoop-core-1.0.1.jar a D:\SettingUp\ITSettingUp\Hadoop. \hadoop-1.0\hadoop-1.0.1\build\esta carpeta (2) Cambiar D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1 \lib\commons-. cli-1.2.jar se copia en la carpeta D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\build\ivy\lib\Hadoop\common 6. Regrese a eclipse, abra el archivo \META-INF\MANIFEST.MF en el proyecto y realice las siguientes adiciones: ¿ver código fuente? 1. Paquete -ClassPath: clases/, 2. lib/hadoop-core-1.0.1.jar, 3. lib/commons-cli-1.2.jar, 4. lib/commons-configuration-1.6.jar, 5. lib/commons-mons-lang-2.4.jar, 7. lib/jackson-core-asl-1.8.8.jar, 7.p> 8. lib/jack son-mapper-asl-1.8.8.ja, 7. Después de la configuración anterior, básicamente está completa y podemos compilar el proyecto. Haga clic con el botón derecho en el archivo build.xml y seleccione Ejecutar como Ant Build. La compilación se realizó correctamente. El hadoop-1.0.1-eclipse-plugin.jar generado se encuentra en la carpeta \build\contrib\eclipse-plugin en hadoop-1.0. .1 directorio de descompresión. El cuarto paso, por supuesto, es configurar nuestro complemento compilado en eclipse. 1. Coloque el archivo hadoop-1.0.1-eclipse-plugin.jar en los complementos en el directorio de instalación de eclipse y reinicie eclipse. Después de reiniciar, verá aparecer el ícono de elefante Mapa/Reducir en Ventana->Abrir perspectiva->Otro, o verá la opción Mapa/Reducir de Hadoop en ventana->Preferencias. 2. Haga clic en la opción Hadoop Map/Reduce en ventana->Preferencias y descomprima el directorio de Hadoop (el mío es D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1) en el configuración de ruta, la representación de la configuración es la siguiente: \ 3. Luego hacemos clic en Mapa/Reducir en Ventana->Abrir perspectiva->Otro y cambiamos a este modo, la captura de pantalla es el siguiente: \ 4. Después de cambiar al modo Mapa/Reducir, vemos la captura de pantalla en la pantalla (4), haga clic en los dos pequeños iconos en la esquina inferior derecha , Pruebe para ver si hay una respuesta. Si hay una respuesta, no la configure todavía. Hablaré de esto en detalle en mi próximo blog. Si no sucede nada, puede hacer lo siguiente: (1). Abra el archivo \META-INF\MANIFEST.MF en el proyecto y busque Bundle-ClassPath: clases agregadas durante la compilación anterior / At. En esta ubicación, previamente agregamos la configuración de 7 paquetes jar y agregamos cuatro más, de la siguiente manera: view sourceprint? 1. lib/ hadoop -common-0.21.0.jar, 2. lib/hadoop-hdfs-0.21.0.jar, 3. lib/log4j-1.2.15.jar, 4. lib/hadoop-mapred-0.21.0.jar (2 ) Luego, debemos descargar estos cuatro paquetes jar de Internet y colocarlos en la siguiente carpeta. Tome mi directorio como ejemplo: D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\lib. (3). Luego vuelva a compilar. Al reemplazar el complemento original, durante el proceso de reinicio de eclipse, puede hacer esto: primero elimine el complemento original, reinicie eclipse y confirme Map/Reducir. desapareció; luego cierre eclipse, coloque el nuevo complemento en los complementos y luego inicie eclipse nuevamente. El artículo al que hice referencia en línea al resolver este problema es: /kky2010_110/article/details/7774747. También puedes echarle un vistazo~. (4) La captura de pantalla mencionada anteriormente es la siguiente: \ Después de los pasos mencionados anteriormente, hemos compilado el complemento de hadoop en eclipse. , debes prestar atención a este proceso, no temas fallar, prueba más, porque la versión de Hadoop y la versión de Eclipse están relacionadas, por lo que tu versión no es consistente con la mía, puede fallar, pero también puede tener éxito. . Así que aquí les recuerdo nuevamente, presten atención al comienzo del artículo, mi introducción a las versiones de mi propio entorno, especialmente las versiones de eclipse y hadoop. Le sugiero que, si tiene tiempo, pueda seguir mis pasos independientemente de la versión. Si realmente no tiene éxito, puede encontrar una versión de eclipse y hadoop que sea la misma que la mía e intentarlo nuevamente. Porque, durante este proceso, descubrí que como era la primera vez que aprendía Hadoop, no vi ningún resultado exitoso. Siempre sentí que faltaba algo y siempre quise experimentarlo. yo~ En cuanto al siguiente paso, si configura Ubicación y ejecuta WordCount, lo explicaré en detalle en el próximo blog. Gracias por su apoyo. Si cree que el artículo es bueno, dele me gusta. ¡Y deja muchos comentarios! ¡Esto me llenará de motivación!