Cómo instalar y configurar el Foro de Desarrollo Tecnológico Hadoop-IT168 en Linux
I.Preparación:
Antes de instalar Hadoop en Linux, necesita instalar dos programas:
1.JDK 1.6 o superior. ;
2.SSH (Protocolo Secure Shell), se recomienda instalar OpenSSH.
Razones para instalar estos dos programas:
1. Hadoop está desarrollado en Java y se requiere JDK para compilar Hadoop y ejecutar MapReduce.
2. Hadoop requiere SSH para iniciar el demonio en cada host en la lista ungüento, por lo que incluso si instala la versión pseudodistribuida (porque Hadoop no distingue entre clúster y pseudodistribuida), SSH es Básico. Para pseudodistribuido, Hadoop utilizará el mismo método de procesamiento que el clúster, es decir, iniciará el proceso en el host registrado en el archivo conf/slaves, excepto que el esclavo del pseudodistribuido es localhost (es decir, su propio ), por lo que para Hadoop pseudodistribuido, se requiere SSH.
2. Instale JDK 1.6
Tome Ubuntu como ejemplo para instalar JDK.
(1) Descargue e instale JDK
Después de confirmar que puede conectarse a Internet, ingrese el comando:
sudo apt-get install sun-java6 -jdk
p>Ingrese la contraseña. Después de la confirmación, puede instalar el JDK.
(2) Configurar variables de entorno
Ingrese el comando:
sudo gedit /etc/profile
Ingrese la contraseña para abrir el archivo de configuración.
Escriba lo siguiente al final del archivo:
#set Java Environment
export JAVA_HOME= (ubicación de instalación de DK, generalmente /usr/lib/jvm /java -6-sun)
exportar CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
exportar PATH="$JAVA_HOME/:$PATH"
La importancia de este paso es configurar las variables de entorno para que el sistema pueda encontrar el JDK.
(3) Verifique si el JDK se instaló correctamente
Ingrese el comando:
java -version
Vea la información:
versión de Java "1.6.0_14"
Java(TM) SE Runtime Environment (compilación 1.6.0_14-b08)
Máquina virtual del servidor Java HotSpot (TM) (Compilación 14.0 -b16, modo mixto)
Configurar el inicio de sesión sin contraseña SSH
Tomemos Ubuntu como ejemplo nuevamente, asumiendo que el nombre de usuario es u.
1) Asegúrate de estar conectado a Internet e ingresa el comando
sudo apt-get install ssh
2) Configura la máquina para que puedas iniciar sesión sin contraseña.
Primero, verifique si hay una carpeta .ssh en u-user (tenga en cuenta que hay un "." delante de ssh, que es una carpeta oculta). Esta es una carpeta oculta), ingrese el comando:
ls -a /home/u
En términos generales, al instalar SSH, creará automáticamente esta carpeta oculta bajo el usuario actual. carpeta, pero si no hay ninguna, puede crear una manualmente.
A continuación, ingrese el comando:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
Descripción ssh-keygen significa Generar una clave; -t (tenga en cuenta que distingue entre mayúsculas y minúsculas) indica especificar el tipo de clave generada; dsa indica verificación de clave dsa, es decir, el tipo de clave se usa para proporcionar una contraseña; -P se utiliza Proporciona una contraseña. -P se utiliza para proporcionar el texto cifrado; -f especifica el archivo de clave generado.
En Ubuntu, ~ representa la carpeta del usuario actual, en este caso /home/u.
Este comando crea dos archivos id_dsa e id_dsa.pub en la carpeta .ssh, que son un par de claves públicas y privadas SSH, similares a llaves y cerraduras, y reemplaza id_dsa.pub (clave pública) por adjunto a la clave de autorización.
Escriba el comando:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
Esto significa agregar la clave pública a En el archivo de clave pública para la autenticación, donde claves_autorizadas es el archivo de clave pública utilizado para la autenticación.
En este punto, se completa el inicio de sesión en la máquina sin contraseña.
3) Verifique que SSH se haya instalado correctamente y que pueda iniciar sesión en la máquina sin contraseña.
Ingrese el comando:
ssh -version
Resultado:
OpenSSH_5.1p1 Debian-6ubuntu2, OpenSSL 0.9.8g 2007 10 19 de enero
Carácter de escape "rsion" incorrecto.
Esto indica que SSH se instaló exitosamente.
Ingrese el comando:
ssh localhost
Se mostrará el siguiente contenido:
El host "localhost (::1) "No se puede determinar la autenticidad.
La huella digital de la clave RSA es 8b:c3:51:a5:2a:31:b7:74:06:9d:62:04:4f:84:f8:77.
¿Estás seguro de que deseas continuar conectándote (S/N)? Sí
Advertencia:
Linux master 2.6.31-14-generic #48-Ubuntu SMP viernes 16 de octubre 14:04:26 UTC 2009 i686
Obligatorio Para acceder a la documentación oficial de Ubuntu, visite:
/
Último inicio de sesión: lunes 18 de octubre a las 17:12:40 de 2010 desde master