Cómo ejecutar el programa DistributedShell en YARN
Hola, me alegra poder ayudarte.
Este artículo presenta el uso de DistributedShell, un ejemplo de aplicación muy simple que viene con YARN. Puede considerarse como "hola mundo" en la programación de YARN. Su función principal es ejecutar comandos de shell o scripts de shell proporcionados por los usuarios en paralelo.
(1) Introducción a los parámetros de ejecución
Los parámetros de ejecución básicos de DistributedShell son los siguientes:
(2) Método de ejecución
El método de ejecución de DistributedShell es el siguiente:
En el directorio de instalación de YARN, ejecute el siguiente comando:
bin/hadoop jar\
share/hadoop/yarn /hadoop-yarn-applications-distributedshell-2.0.0-cdh4.1.1.jar\
org.apache.hadoop.yarn.applications.distributedshell.Client\
–jar compartir /hadoop/yarn/hadoop-hilado-applications-distributedshell-2.0.0-cdh4.1.1.jar\
–shell_command ls\
–shell_script ignore.sh\
–num_containers 10 \
–container_memory 350\
–master_memory 350\
–prioridad 10
Debería ser Observó que en hadoop-2.0 anterior a 3-alpha (excluyendo esta versión) y CDH 4.1.2 (incluida esta versión), hay errores en DistributedShell, como se muestra a continuación:
1) El parámetro –shell_command debe. ser utilizado
2) Cuando solo existe el parámetro shell_command pero ningún parámetro shell_script, la ejecución no puede tener éxito en modo distribuido (posible en modo pseudodistribuido. Para obtener instrucciones específicas y métodos de reparación, consulte: mand).
02/13/01 13: 43:13 INFORMACIÓN distribuidoshell.Cliente: Se completó la configuración del comando maestro de la aplicación ${JAVA_HOME}/bin/java -Xmx350m org.apache.hadoop.yarn.applications.distributedshell. ApplicationMaster –container_memory 350 –num_containers 10 –priority 0 –shell_command ls 1gt ;/AppMaster.stdout 2gt;/AppMaster.stderr
13/02/01 13:43:13 INFORMACIÓN distribuidoshell.Client: Enviando aplicación a ASM
13/02/01 13:43:14 INFORMACIÓN distribuidoshell.Cliente: Obtuve el informe de la aplicación de ASM para, appId=3, clientToken=null, appDiagnostics=, appMasterHost=N/A, appQueue=default , appMasterRpcPort=0, appStartTime=1359697393467, YarnAppState=ACEPTADO, distr
ibutedFinalState=UNDEFINED, appTrackingUrl=c2-23:8088/proxy/application_1359695803957_0003/, appUser=rmss
13/02/01 13:43:15 INFORMACIÓN distribuidoshell.Client: Obtuve el informe de la aplicación de ASM para appId =3, clientToken=null, appDiagnostics=, appMasterHost=, appQueue=default, appMasterRpcPort=0, appStartTime=1359697393467, YarnAppState=RUNNING, distribuidoFinalState=UNDEFINED, appTrackingUrl=, appUser=rmss
13/02/ 01 13:43:16 INFORMACIÓN distribuidoshell.Client: Obtuve el informe de la aplicación de ASM para, appId=3, clientToken=null, appDiagnostics=, appMasterHost=, appQueue=default, appMasterRpcPort=0, appStartTime=1359697393467, YarnAppState=RUNNING, distribuidoFinalState= INDEFINIDO, appTrackingUrl=, appUser=rmss
13/02/01 13:43:17 INFORMACIÓN distribuidoshell.Client: Obtuve el informe de aplicación de ASM para, appId=3, clientToken=null, appDiagnostics=, appMasterHost= , appQueue=predeterminado, appMasterRpcPort=0, appStartTime=1359697393467, YarnAppState=RUNNING, distribuidoFinalState=UNDEFINED, appTrackingUrl=, appUser=rmss
13/02/01 13:43:18 INFORMACIÓN distribuidoshell.Cliente: Obtenido informe de aplicación de ASM para, appId=3, clientToken=null, appDiagnostics=, appMasterHost=, appQueue=default, appMasterRpcPort=0, appStartTime=1359697393467, YarnAppState=RUNNING, distribuidoFinalState=UNDEFINED, appTrackingUrl=, appUser=rmss
02/13/01 13:43:19 INFORMACIÓN distribuidoshell.Cliente: Obtuve el informe de la aplicación de
ASM para, appId=3, clientToken=null, appDiagnostics=, appMasterHost=, appQueue=default, appMasterRpcPort=0, appStartTime=1359697393467, YarnAppState=FINISHED, DistributionFinalState=SUCCEEDED, appTrackingUrl=, appUser=rmss
13/02/01 13:43:19 INFORMACIÓN DistributedShell.Client: La aplicación se completó exitosamente Rompiendo el ciclo de monitoreo
13/02/01 13:43:19 INFORMACIÓN DistributedShell.Client: La aplicación se completó exitosamente
p>13/02/01 13:43:19 INFORMACIÓN distribuidoshell.Cliente: La solicitud se completó con éxito p>
Su adopción es la motivación para seguir adelante si hay algo que no comprende. ¡Continúe “preguntando”!
Si tienen otras preguntas, pueden pedirme ayuda; no es fácil responder las preguntas, ¡por favor comprendan y ayúdense unos a otros!