Cómo construir un entorno de clúster hadoop en el blog de Linux Xiaocan

lDos máquinas virtuales Linux (este artículo usa redhat5, las IP son IP1 e IP2)

l Entorno JDK (este artículo usa jdk1.6, hay muchos métodos de configuración en línea , este artículo se omite)

l Paquete de instalación de Hadoop (este artículo usa Hadoop1.0.4)

El objetivo de compilación

210 sirve como host y máquina de nodo, y 211 sirve como máquina de nodos.

Pasos de construcción

1 Modificar el archivo de hosts

Agregar /etc/hosts:

IP1 hadoop1

IP2 hadoop2

2 implementa el inicio de sesión sin contraseña ssh

2.1 Inicio de sesión local sin contraseña en el host (maestro)

ssh-keygen -t dsa - P '' -f ~/.ssh/id_dsa

Simplemente ingrese y se generarán dos archivos en ~/.ssh/ una vez completado: id_dsa e id_dsa.pub.

Estos dos archivos aparecen en pares, similar a una llave y un candado.

Agregar id_dsa.pub a las claves autorizadas (sin el archivo autorizado_key):

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

nombre de host localhost de ssh

Aún necesitas ingresar una contraseña. Esto generalmente se debe a un problema de permisos de directorio o archivo. Verifica el registro del sistema y, de hecho, es un problema de permisos.

.

2.2 Iniciar sesión en la computadora del nodo (esclavo) sin contraseña

Ejecutar en el esclavo:

ssh-keygen -t dsa -P '' - f ~/ .ssh/id_dsa

Generar directorio .ssh.

Copiar las claves_autorizadas del maestro al esclavo:

scp claves_autorizadas hadoop2:~/.ssh/

Experimento: ejecutar

ssh hadoop2 en master

Implementar inicio de sesión sin contraseña.

3 Configurar Hadoop

3.1 Copiar hadoop

Copie hadoop-1.0.4.tar.gz, cópielo a la carpeta usr/local y descomprímalo.

Comando de extracción:

tar -zxvf hadoop-1.0.4.tar.gz

3.2 Ver cat /etc/hosts

IP1 hadoop1

IP2 hadoop2

3.3 Configurar conf/masters

3.3 Configurar conf/masters y conf/slaves

conf/masters:

1

IP1

conf/esclavos:

1

2

IP2

3.4 configuración conf/hadoop-env.sh

Unirse

1

exportar JAVA_HOME=/home/elvis/soft/ jdk1.7.0_17

3.5 configuración conf/core-site.xml

1

2

3

4

fs.default.name

hdfs://IP1:9000

3.6 Configuración conf/hdfs-site.xml

Unirse

dfs.http.dirección

IP1:50070

dfs.name .dir

/usr/local/hadoop/namenode

dfs.data.dir

/usr/local/ hadoop/data

<.property>

dfs.replication

2

3.7 Configurar conf/mapred-site.xml

Unirse

mapred.job.tracker

192.168.8 Crear directorios relacionados

1

/usr/local/hadoop//directorios de datos y nodos de nombres de hadoop

Tenga cuidado de crear solo el directorio hadoop. No cree los directorios de datos y nodos de nombres manualmente.

Otros ordenadores del nodo también crean este directorio.

3.9 Copiar archivos hadoop a otros nodos

Para copiar archivos hadoop a otros nodos de forma remota (para asignar la configuración anterior a otros nodos),

Comando :

1

scp -r hadoop-1.0.4 IP2:/usr/local /

Formato 3.10 Maestro activo

Comando :

bin/hadoop namenode -format

3.11 Inicie el clúster.

1

bin/hadoop dfsadmin -report

2 nodos de datos, abre la página web y mira

Tipo de navegador: IP1:50070

Haga clic en Finalizar y la instalación del clúster estará completa.