Cómo usar hadoop para ejecutar un programa mahout personalizado

1) El usuario empaqueta y compila su propio programa localmente, como mytest.jar

2) Carga el paquete de programa del usuario mytest.jar al directorio de usuarios registrados de la plataforma, como testuser

3) Prepare el directorio y los datos según las necesidades del programa de usuario

4) Inicie sesión en / y ejecute el siguiente comando

mahout hadoop jar mytest.jar mytest .clustering.MyKmeans.Job -i entrada - o salida -k 3

Descripción:

El script mahout ejecuta directamente el programa del usuario a través del comando hadoopww.hbbz08.com. Sin embargo, los usuarios no pueden usar el comando hadoop para ejecutar directamente aplicaciones desarrolladas en base a la biblioteca de algoritmos mahout, porque el script mahout carga automáticamente el paquete jar en la biblioteca mahout. La siguiente es una descripción detallada del comando de ejemplo anterior:

mahout: ejecuta el comando mahout

hadoop: los parámetros del script mahout utilizados para ejecutar el programa personalizado, en función del cual el mahout el script llama al comando hadoop

jar: parámetros utilizados para permitir que hadoop ejecute jar

mytest.jar: paquete Jar del programa de usuario

mytest.clustering.MyKmeans.Job - Clase principal del programa

mytest.clustering.MyKmeans.Job.Job - la clase principal del programa que el usuario desea ejecutar

Otros - parámetros del programa de usuario, configurados de acuerdo con la configuración real necesidades del programa de usuario

p>

Utilice eclipse para escribir código en Windows, empaquete el código en un archivo jar, coloque el código en el servidor Linux,

ejecute

mahout hadoop jar your_ mahout_code.jar your_main_class

Mi código de prueba es:

mahout hadoop jar mahout.jar mahout.Recsys