Cómo utilizar Maven para crear el paquete de código fuente del libro "La guía definitiva para Hadoop 3.º"
Los ejemplos en "hadoop: la guía definitiva 3.º" proporcionan una forma de compilar y construir paquetes jar de forma predeterminada: Maven. Por supuesto, si no tiene Maven, encontrará las fuentes que vienen. con el libro para compilación y prueba. ¡El código sería muy engorroso (al menos en la línea de comando)! También puede usar eclipse para importar el código fuente de este libro y luego agregar sus propios paquetes jar dependientes uno por uno (me temo que no es fácil). Afortunadamente, existe una muy buena herramienta de gestión de proyectos de software de código abierto que puede ayudarnos a completar estas tareas triviales que no tienen nada que ver con el diseño y la arquitectura del programa en sí, ¡y esa es Maven!
Si no sabes mucho sobre maven, puedes leer aquí.
El código fuente de "hadoop: la guía definitiva 3.º" se puede descargar desde github, de la siguiente manera:
Después de descargarlo y descomprimirlo, hay un archivo README en el directorio raíz. Podemos usarlo para obtener información sobre cómo usar el código fuente de este libro (básicamente, todos los proyectos de código abierto tienen dicho archivo en el directorio raíz del paquete de lanzamiento). (Básicamente, todos los proyectos de código abierto tienen dicho archivo en el directorio raíz del paquete de distribución, que también puede llamarse INSTALAR. Esta es la forma más directa y sencilla de saber cómo instalar un software de código abierto. Hay un párrafo). describiendo la compilación Todas las dependencias requeridas para el código fuente de este libro:
Esta versión del código ha sido probada con:
* Hadoop 1.0.4. Hadoop 1.0.4/0.22.0/0.23.0/2.0.2-alpha
* Avro 1.5.4
* Cerdo 0.9.1
* Hive 0.8.0
* HBase 0.90.4
* ZooKeeper 3.4.2
* Sqoop 1.4.0-incubando
* MRUnit 0.8.0-incubating
Para hacer esto, necesitamos instalar las dependencias anteriores (tenga en cuenta que la versión del instalador debe ser lo más cercana posible a la versión del instalador anterior, yo no instalé Unidad MR). La situación es muy simple: solo necesitamos descomprimir el paquete de instalación correspondiente y luego configurar la variable de entorno de la ruta del paquete de instalación en ~/.bashrc (este método de instalación es adecuado para la mayoría de las instalaciones de software en Linux, pero debe consultar el. README para el método de instalación específico o archivo INSTALL), los métodos de instalación de los componentes dependientes de cada componente se presentan en los capítulos correspondientes de este libro.
Se ha introducido el contenido de cada capítulo. Los estudiantes que aún estén confundidos pueden consultarlo en el libro. Lo siguiente solo toma Hbase como ejemplo:
% tar xzf hbase-x.y.z.tar.gz
% export HBASE_HOME=/home/hbase/hbase-x.y.z
% export PATH=$PATH:$HBASE_HOME/bin
Después de ejecutar los pasos anteriores, ingrese el hbase comando, y aparecerá la siguiente interfaz, indicando que la instalación fue exitosa (no olvide ejecutar ".~/.bashrc" para que las variables de entorno configuradas surtan efecto):
Ahora podemos cambiar al directorio raíz del paquete de código fuente del libro y use maven para construir el paquete jar del libro:
% mvn package -DskipTests -Dhadoop.version=1.0.4
Habrá Después de un largo tiempo de espera después de ejecutar este comando, Maven irá a su almacén central y Apache descargará el paquete jar requerido y el archivo pom.xml del almacén (este proceso puede durar aproximadamente una hora; asegúrese de que su computadora esté conectada a la red). , una vez completada la descarga, en la carpeta ~/.m2/repository -DskipTests -Dhadoopversion =1.0.4
% mvn package -DskipTests -Dhadoopversion=1.0.4 -Es decir, el almacén local- -puede ver el paquete jar descargado y el archivo pom), y luego compilar el pom uno por uno en el directorio raíz. Módulos configurados en .xml, cuando todo el trabajo esté completo, podrá ver el paquete empaquetado, lo que facilita el uso de hadoop en el línea de comando muy fácil. Puede utilizar comandos de hadoop desde la línea de comandos para probar el código del libro.