flink: segundo modo: modo de sesión de hilo múltiple
La ventaja de este método es que una tarea corresponderá a un trabajo, es decir, cada trabajo enviado solicitará recursos del hilo según su propia situación hasta que se complete el trabajo, y no afectará el funcionamiento normal del siguiente trabajo. Ejecutar a menos que no haya recursos en el hilo.
Nota: el cliente debe configurar la variable de entorno YARN_CONF_DIR o HADOOP_CONF_DIR o HADOOP_HOME Utilice esta variable de entorno para leer la información de configuración de YARN y HDFS; de lo contrario, el inicio fallará.
No es necesario. para iniciar cualquier clúster en hilo y enviar la tarea directamente
Paso 1: ejecutar directamente el comando para enviar la tarea
cd /kkb/install/flink-1.8.1/
bin/flink run -m Yarn-cluster -yn 2 -yjm 1024 -ytm 1024 ./examples/batch/WordCount.jar -input hdfs://node01:8020/flink_input -output hdfs://node01 :8020 /out_result/out_count.txt
Paso 2: Ver los resultados de salida
hdfs ejecuta el siguiente comando para ver los resultados de salida
hdfs dfs -text hdfs://node01 ：8020/out_result/out_count.txt
Paso 3: Ver el documento de ayuda de ejecución de flink
Podemos usar --help para ver a qué parámetros se pueden agregar el documento de ayuda
cd /kkb/install/flink-1.8.1/
bin/flink run --help
El resultado es el siguiente
La acción "ejecutar" compila y ejecuta un programa.
Sintaxis: ejecutar [OPCIONES] lt; jar-filegt; :
- c, --class lt; classnamegt; Clase con el punto de entrada del programa
(método "principal" o método "getPlan()"). > Sólo es necesario si el archivo JAR no
especifica la clase en su manifiesto.
-C, --classpath cargador de clases en todos los nodos del clúster. Las rutas deben especificar un protocolo (por ejemplo, file://) y ser accesible en todos. nodos (por ejemplo, mediante un recurso compartido NFS. Puede utilizar esta opción varias veces para especificar más de una URL). El protocolo debe ser compatible con {@link java.net.URLClassLoader}. -d, --detached Si está presente, ejecuta el trabajo en modo separado -n, --allowNonRestoredState Permite omitir el estado del punto de guardado que no se puede restaurar. Debe permitir . esto si eliminó un operador de su programa que era parte del programa cuando se activó el punto de guardado . - p, --parallelism lt; paraleloismgt; El paralelismo con el que se ejecutará el programa para anular el valor predeterminado especificado en la configuración. . -q, --sysoutLogging Si está presente, suprime la salida del registro a la salida estándar. -s, --fromSavepoint lt savepointPathgt; un punto de guardado desde el que restaurar el trabajo (por ejemplo hdfs:///flink/savepoint-1537). -sae, --shutdownOnAttachedExit Si el trabajo se envía en modo adjunto , realice el mejor esfuerzo para cerrar el clúster cuando la CLI finalice abruptamente, por ejemplo, en respuesta a un usuario. interrupción, como escribir Ctrl C. Opciones para el modo hilo-clúster: -d, --detached Si está presente, ejecuta el trabajo en modo separado modo -m, --jobmanager lt; arggt; (maestro) al al que conectarse Utilice esta bandera para conectarse a un JobManager diferente al especificado en
-sae, --shutdownOnAttachedExit Si el trabajo se envía en modo adjunto
, realice el mejor esfuerzo para cerrar el clúster
cuando la CLI esté terminado
abruptamente, por ejemplo, en respuesta a una interrupción del usuario
, como escribir Ctrl C.
-yD lt; use valuegt; propiedad dada
-yd, --yarndetached Si está presente, ejecuta el trabajo en modo separado
(obsoleto; en su lugar, use una opción específica que no sea YARN
)
-yh, --yarnhelp Ayuda para la sesión CLI de Yarn.
-yid, --yarnapplicationId lt arggt; Adjuntar a la sesión de YARN en ejecución
-yj , --yarnjar lt; arggt; Ruta al archivo jar de Flink
-yjm, --yarnjobManagerMemory lt; arggt; /p>
-yn, --yarncontainer lt; arggt; Número de contenedor YARN para asignar
(=Número de administradores de tareas)
-ynl, --yarnnodeLabel lt ;arggt; Especifique la etiqueta del nodo YARN para la aplicación YARN
-ynm, --yarnname lt;arggt; Establezca un nombre personalizado para la aplicación
en HILO
-yq, --yarnquery
Mostrar recursos YARN disponibles
(memoria, núcleos)
-yqu, --yarnqueue lt; arggt; Especificar cola YARN.
-ys, --yarnslots; lt; arggt; Número de espacios por TaskManager
-yst, --yarnstreaming Iniciar Flink en modo de transmisión
-yt, --yarnship lt;
(t para transferencia)
-ytm, --yarntaskManagerMemory lt; arggt; Memoria por contenedor de TaskManager con
unidad opcional (predeterminado: MB) p>
-yz, --yarnzookeeperNamespace lt; arggt; Espacio de nombres para crear las subrutas de Zookeeper
para el modo de alta disponibilidad
-z, --zookeeperNamespace lt ; arggt ; Espacio de nombres para crear las subrutas de Zookeeper
para el modo de alta disponibilidad
Opciones para el modo predeterminado:
-m, --jobmanager lt; ; Dirección del JobManager (maestro) al que
conectarse Utilice este indicador para conectarse a un
JobManager diferente al especificado
en la configuración. .
-z, --zookeeperNamespace lt; arggt; Espacio de nombres para crear las subrutas de Zookeeper
para el modo de alta disponibilidad
3. Flink ejecuta el análisis del script.
p>Cuando enviamos una tarea de flink, podemos agregar los siguientes parámetros
1. De forma predeterminada, busque jobmanager/tmp/.yarn-properties- en la sesión de hilo existente. información en el clúster de hilo actual raíz:
bin/flink run ./examples/batch/WordCount.jar -input hdfs://hostname:port/hello.txt
-output hdfs://hostname:port/result1
2. Conéctese al administrador de trabajos del host y puerto especificados:
bin/flink run -m node01:8081 ./examples /batch/ WordCount.jar -input hdfs://hostname:port/hello.txt -output hdfs://hostname:port/result1
3. Inicie una nueva sesión de hilo:
bin/flink run -m Yarn-cluster -yn 2 ./examples/batch/WordCount.jar -input hdfs://hostname:port/hello.txt -output hdfs://hostname:port/result1
Nota: Las opciones de línea de comando de la sesión Yarn también se pueden obtener usando la herramienta ./bin/flink. Todos tienen el prefijo y o hilo
Por ejemplo: bin/flink run -m Yarn-cluster -yn 2 ./examples/batch/WordCount.jar