¿Cómo configuro las variables de entorno de Hadoop eclipse?
Configurar las variables de entorno de Hadoop eclipse
a. En el nodo maestro (ubuntu-V01), ¿modificar hdfs-site.xml más lo siguiente?
?
La razón por la que quiero eliminar la verificación de permisos es para resolver el siguiente error informado después de configurar la conexión de mapa/reducir cuando configuro eclipse para conectarme al servidor hadoop en la máquina con Windows: org.apache.hadoop.security .AccessControlException: ¿Permiso denegado:?
b. ¿Modificar hdfs-site.xml en el nodo maestro (ubuntu-V01) con el siguiente contenido?
?
La razón es que aparece el siguiente error ADVERTENCIA org.apache.hadoop.security.ShellBasedUnixGroupsMapping: ¿obtuve una excepción al intentar obtener grupos para el usuario jack?
¿Quizás no puedo acceder al conector de usuario de Windows?
Para obtener más información sobre la configuración de permisos, consulte la documentación oficial: ?
Guía del usuario de administración de permisos de HDFS/hdfs_permissions_guide.html?
Reinicie el clúster de hadoop después de los cambios de configuración: ?
hadoop@ubuntu-V01:~/data$.
hadoop@ubuntu-V01:~/data $ ./sbin/stop-yarn.sh?
hadoop@ubuntu-V01:~/datos$. /sbin/start-dfs.sh?
hadoop@ubuntu-V01:~/datos$.
/sbin/start-yarn.sh?
2. ¿Preparación básica del entorno Windows?
windows7 (x64), jdk, ant, eclipse, hadoop?
¿Configuración del entorno 1.jdk?
Después de instalar jdk-6u26-windows-i586.exe, configure la variable de entorno JAVA_HOME relevante y configure el directorio bin como ruta.
2.¿Configuración del entorno eclipse?
Extraiga eclipse-standard-luna-SR1-win32.zip al directorio D:\eclipse\ y asígnele el nombre eclipse-hadoop?
Descargado:/apache//ant/binaries/apache-ant-1.9.4-bin.zip?
4. ¿Descargar hadoop-2.5.2.tar.gz?
/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2.tar.gz?
5. Descargue hadoop-2.5.2-src.tar.gz
/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2-src.tar .gz
6. Descargar hadoop2x-eclipse-plugin
/winghc/ Descargar hadoop2x-eclipse-plugin
7. -bin
/src/ Descargar hadoop-common-2.2.0-bin
8.
/srccodes/hadoop-common-2.2.0-bin ?
Descargue hadoop-2.5.2.tar.gz, hadoop-2.5.2-src.tar.gz, hadoop2x-eclipse-plugin y hadoop-common-2.2.0-bin respectivamente y extráigalos. al directorio F:\hadoop\?
8. Modifique el archivo de hosts locales para incluir el siguiente contenido:
192.168.1.112 ubuntu-V01
3. Compile hadoop-eclipse-plugin-2.5 .2 ¿Configuración .jar?
1. Agregar la variable de entorno HADOOP_HOME=F:\hadoop\hadoop-2.5.2\?
Agregar el contenido de la ruta de la variable de entorno: %HADOOP_HOME%/bin?
2. ¿Modificar la información de versión de los paquetes compilados y los paquetes dependientes?
Modificar F:\hadoop\hadoop2x-eclipse-plugin-master\ivy\libraries.properties?
hadoop.version=2.5.2?
jackson .version=1.9.
¿3.compilación de hormigas?
F:hadoop\hadoop2x-eclipse-plugin-master\src\contribeclipse-plugin>?
ant jar -Dversion=2.5.2 -Declipse.home=D:\eclipse \eclipse-hadoop\eclipse -Dhadoop.home=F:\hadoop\hadoop-2.5.2?
Después de la compilación, hadoop -eclipse-plugin-2.5.2.jar estará en F:\hadoop \hadoop2x -eclipse-plu
¿Directorio gin-master\build\contribeclipse-plugin?
4. ¿Configuración del entorno Eclipse?
1. Copie el hadoop-eclipse-plugin-2.5.2.jar compilado en el directorio del complemento de eclipse y luego reinicie eclipse.
2. Abra el menú Ventana-Preferencia-Mapa de Hadoop/Reducir para configurar, como se muestra en la siguiente figura:?
3. Mostrar Vista-- Otros--Herramientas MapReduce, como se muestra en la siguiente figura: ?
4. Configure la conexión con Hadoop, como se muestra en la siguiente figura: ??
Verificar Si la conexión fue exitosa, puede ver la siguiente información, que indica que la conexión fue exitosa: ?
5. Agregue un archivo de prueba en el entorno del clúster hadoop
(si no hay configuración). ¿Se requiere)?
¿Se está creando a.dfs al ingresar a un directorio?
hadoop@ubuntu-V01:~/data/hadoop-2.5.2$bin/hadoop fs -mkdir -p entrada?
b. ¿Copiar README.txt del directorio hadoop al directorio de entrada recién creado en dfs?
hadoop@ubuntu-V01:~/data/hadoop-2.5.2$bin/hadoop fs -copyFromLocal README.txt ¿entrada?
6. ¿Crear un proyecto de Mapa/Reducir?
1. Cree un nuevo archivo de proyecto--Nuevo--Otro--Mapa/Reducir proyecto, llamado MR1,?
Luego cree la clase org.apache.hadoop.examples. ¿WordCount, copiar y sobrescribir desde hadoop-2.5.2-src?
(F:\hadoop\hadoop-2.5.2-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main \java \org\apache\hadoop\examples\\WordCount.java)?
2. ¿Crear el archivo log4j.properties?
Cree el archivo log4j.properties en el directorio src con el siguiente contenido:?
log4j.rootLogger=debug,stdout,R
log4j.appender? .stdout =org.apache.log4j.ConsoleAppender?layout=org.apache.log4j.PatternLayout?
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n?
log4j.appender.R=org.apache.log4j.RollingFileAppender?
log4j.appender.R.File=mapreduce_test.log?
log4j.appender .R.MaxFileSize=1MB?
log4j.appender.R.MaxBackupIndex=1?
log4j.appender.R.layout=org.apache.log4j.PatternLayout?
log4j.appender.R.layout.ConversionPattern=
%p?
log4j.logger.com.codefutures=¿DEBUG?
3. ¿Se resolvió el problema de excepción java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)?
(Dado que su entorno puede ser inconsistente con el mío, ¿puede realizar cambios después de que surjan problemas relacionados)?
¿Copiar el archivo fuente org.apache.hadoop.io.nativeio.NativeIO al proyecto?
Luego busque la línea 570 y cámbiela directamente para que devuelva verdadero;?
Como se muestra a continuación:?
7. p>(Si no es válido, ¿debe reiniciar la máquina)?
¿Necesitas hadoop.dll, winutils.exe?
¿Debo copiar directamente el directorio F:\hadoop\hadoop-common-2.2.0-bin-master\bin y sobrescribir el contenido de F:\hadoop\hadoop-2.5.2\bin?
8. Ejecute el proyecto
Haga clic en WordCount.java en eclipse, haga clic derecho, haga clic en Ejecutar como->Ejecutar configuraciones y configure los parámetros de ejecución, es decir, la entrada y carpetas de salida?
hdfs://ubuntu-V01:9000/user/hadoop/input hdfs://ubuntu-V01:9000/user/hadoop/output??