¿Qué hacer después de configurar java, cygwin y hadoop para ejecutar Hadoop en Windows?

win7 (64 bits)

cygwin 1.7.9-1

jdk-6u25-windows-x64.zip

hadoop-0.20.2.tar.gz

1. Instale jdk y configure las variables de entorno de Java, incluida la instalación de la versión 0.20.2 de Hadoop, colóquelo directamente en el directorio /home y descomprímalo. it

tar -zxvf

hadoop-0.20.2.tar.gz

3. Para configurar Hadoop, debe modificar el archivo de configuración de hadoop ubicado en el subdirectorio conf, es decir, hadoop-env.sh, core-site.xml, hdfs-site.xml

y mapred-site.xml

(1) Modificar hadoop- env.sh:

Simplemente cambie JAVA_HOME al directorio de instalación de JDK

exportar

JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25

(Nota: la ruta no puede ser el directorio estilo Windows d:\java\jdk1.6.0_25, sino el directorio estilo LINUX d:\java\jdk1.6.0_25)

( 2) Cambie JAVA_HOME al directorio de instalación de JDK

.

6.0_25, pero LINUX

style/cygdrive/d/java/jdk1.6.0_25)

(2) Modificar core-site.xml: (especifique namenode)

fs.default.nombre

hdfs:// localhost :9000

(3) Modificar hdfs-site.xml (especifique copia 1)

dfs.replication

1

(4) Modificar mapred-site.xml (especificar jobtracker)

localhost:9001

4. Verifique que la instalación sea exitosa y ejecute Hadoop

(1) Verificar instalación

$ bin/hadoop

Uso: hadoop [--config confdir] COMMAND

donde COMMAND es el siguiente Uno:

namenode -format formatea el sistema de archivos DFS

secundarionamenode ejecuta el nodo de nombre secundario DFS

namenode ejecuta el nodo de nombre DFS<

datanode ejecuta el nodo de datos DFS

dfsadmin ejecuta el cliente de administración DFS

mradmin ejecuta el cliente de administración Map-Reduce

fsck ejecuta la herramienta de verificación del sistema de archivos DFS

fs ejecuta el cliente de usuario del sistema de archivos universal

balancer ejecuta la herramienta de equilibrio de clúster

jobtracker ejecuta el nodo de seguimiento de trabajos MapReduce

pipes ejecuta el trabajo de Pipes

tasktracker ejecuta el nodo de seguimiento de tareas de MapReduce

el trabajo opera el trabajo de MapReduce

la cola obtiene información sobre JobQueues

versión impresa versión

jar <jar> Ejecutar archivo jar

distcp <.desturl> Copiar archivos o directorios de forma recursiva

archive -archiveName NOMBRE

>* Crear un archivo hadoop

daemonlog Obtener/establecer el nivel de registro de cada proceso de demonio

o

CLASSNAME Ejecutar la clase denominada CLASSNAME

La mayoría de los comandos imprimirán la ayuda w cuando se los llame

(2) Formatee e inicie Hadoop

bi