Cómo instalar hadoop en Linux
Descargar hadoop: mon/releases.html
/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar. gz
/apache-mirror/hadoop/
Dos: entorno de hardware
****Hay tres máquinas, todas usando CentOS y Java usa jdk1 .6.0 .
Tres: Instalar JAVA6
sudo-pt-get install sun-java6-jdk
/etc/enforce.org instalar JAVA6
sudo apt-get install sun-java6-jdk
/etc/environment
Abre y agrega: # Separa entre dos puntos en inglés, recuerda que Windows está separado por punto y coma en inglés
CLASSPATH=.：/usr/local/java/lib
JAVA_HOME=/usr/local/java
3. Configure la tabla de host
[root@hadoop ~]# vi /etc/hosts
127.0.0.1 localhost
192.168.13.100 namenode
192.168.13.108 datanode1
192.168.13.110 nodo de datos2
[root@test ~]# vi /etc/hosts
127.0.0.1 localhost
192.168.13.100 nodo de nombre
192.168.13.110 datanode2
Agregar usuarios y grupos de usuarios
addgroup hadoop
adduser hadoop
usermod - a -G hadoop hadoop
contraseña hadoop
Configurar ssh:
Servidor:
su hadoop
ssh -keygen - t rsa
cp id_rsa.pub claves_autorizadas
cliente
chmod 700 /home/hadoop
chmod 755 /home/ hadoop/. ssh
su hadoop
cd /home
mkdir .ssh
servidor:
chmod 644 /home /hadoop/.ssh/authorized_keys
scp claves_autorizadas datanode1：/home/hadoop/.ssh/
scp claves_autorizadas datanode2：/home/hadoop/.ssh/
ssh datanode1
ssh datanode2
Si ssh está configurado, aparecerá el siguiente mensaje
No se puede determinar la autenticidad del sexo del host [dbrg-2] .
La clave fingerpr es 1024 5f:a0:0b:65:d3:82:df:ab:44:62:6d:98:9c:fe:e9:52.
¿Estás seguro de que deseas continuar conectándote (S/N)?
OpenSSH te dice que no sabe acerca de este host, pero no tienes que preocuparte.
Esta es la primera vez que inicia sesión en el host. Al escribir "Sí", se agregará
el "identificador" del host a "La segunda vez que acceda al host, aparecerá". will Este mensaje no se mostrará
Pero no olvide probar su ssh dbrg-1 local
mkdir /home/hadoop/ HadoopInstall
tar -zxvf hadoop-0.20.1.tar.gz -C /home/hadoop/HadoopInstall/
cd /home/hadoop/HadoopInstall/
ln - s hadoop -0.20 .1 hadoop
exportar JAVA_HOME=/usr/local/java
exportar CLASSPATH=.：/usr/local/java/lib
exportar HADOOP_HOME=/ home/hadoop/HadoopInstall/hadoop
exportar HADOOP_CONF_DIR=/home/hadoop/hadoop-conf
exportar PATH=$HADOOP_HOME/bin：$PATH
cd $HADOOP_HOME/conf/
mkdir /home/hadoop/hadoop-conf
cp hadoop-env.sh core-site.xml hdfs-site.xml mapred- site.xml masters esclavos /home/hadoop/hadoop-conf
vi $HADOOP_HOME/hadoop-conf/hadoop-env.sh
# La implementación de Java que se utilizará debe modificarse según la suya propia directorio de instalación jdk
exportar JAVA_HOME=/usr/local/java
exportar HADOOP_CLASSPATH=.:/usr/local/java/lib
# El montón a utilizar Capacidad máxima en MB.
El valor predeterminado es 1000.--Ajustar según el tamaño de la memoria
exportar HADOOP_HEAPSIZE=200
vi / home/hadoop/.bashrc
exportar JAVA_HOME= /usr /local/java
exportar CLASSPATH=.：/usr/local/java/lib
exportar HADOOP_HOME=/home/hadoop/HadoopInstall/hadoop
exportar HADOOP_CONF_DIR=/home/hadoop/hadoop-conf
exportar PATH=$HADOOP_HOME/bin：$PATH
Configuración
namenode
#vi $HADOOP_CONF_DIR/esclavos
192.168.13.108
192.168.13.110
#vi $HADOOP_CONF_DIR/core-site.xml
lt;?xml version="1.0"? gt;
lt;?xml-stylesheet type="text/xsl" href="configuration.xsl"? >es ;! -- Coloque sobrecargas de propiedades específicas del sitio en este archivo. --gt;
lt;configurationgt;
lt;propertygt;
lt;namegt;fs.default.namelt;/namegt;
lt;valuegt;hdfs://92.168.13.100:9000lt;/valuegt;
lt;/propertygt;
lt;/configurationgt;
#vi $HADOOP_CONF_DIR/hdfs-site.xml
lt;?xml version="1.0"?gt;
lt;?xml-stylesheet type="text/xsl" href="configuración.xsl"? gt;
lt;! -- Coloque sobrecargas de propiedades específicas del sitio en este archivo. --gt;
lt;configurationgt;
lt;propertygt;
lt;namegt;dfs.replicationlt;/namegt;
lt;valuegt;3lt;/valuegt;
lt;descriptiongt;Copia en bloque predeterminada. Puede especificar el número de copias al crear un archivo.
12/09/21 18:32:07 INFORMACIÓN mapred.JobClient: Lanzado reduce tareas=1
Ver el archivo de resultados de salida, que se encuentra en hdfs
[root@test11 hadoop]# hadoop fs -ls salida1
Se encontraron 2 elementos
drwxr-xr-x - supergrupo raíz 0 2009-09-30 16:01 /usuario / root/output1/_logs
-rw-r--r-- 3 supergrupo raíz 1306 2009-09-30 16:01 /user/root/output1/part-r-00000
[root@test11 hadoop]# hadoop fs -cat salida1/part-r-00000
(BIS), 1
(ECCN) 1
Ver el estado de ejecución de hdfs, al que se puede acceder a través de la interfaz web/1.1.1.1:53567. Probado 1 vez.
La razón es que el formato es incorrecto: hadoop namenode -format