Explicación detallada de la producción de HILO
En la lección anterior, hablamos sobre el flujo de trabajo del envío de trabajos de MR a YARN y la arquitectura de YARN. Esta lección presentará YARN en detalle. Para obtener más información, haga clic en Resumen.
¿Recursos YARN (maestro-esclavo)? Gestión de programación de trabajos
YARN: es un nuevo administrador de recursos de Hadoop. Es un sistema de administración de recursos general que proporciona administración y programación de recursos unificada para aplicaciones de capa superior. Su introducción mejora la utilización del clúster. La gestión de recursos, el disfrute de la seguridad de los datos y otros aspectos han aportado enormes beneficios.
ResourceManager (RM): recibe principalmente solicitudes de tareas del cliente, recibe y monitorea informes de recursos de NodeManager (NM), es responsable de la asignación y programación de recursos e inicia y monitorea ApplicationMaster (AM).
ApplicationManager (Job): gestión de aplicaciones, que es responsable de todos los trabajos en el sistema, incluido el envío de trabajos y la negociación de recursos del programador, el inicio de ApplicationMaster (AM) y la supervisión del estado de ejecución de (AM), y reiniciarlo en caso de falla, actualizar el progreso o asignar un nuevo Contenedor. El progreso o estado del contenedor, excepto los recursos, no le importa, es responsable del trabajo
?Programador: Más restricciones de capacidad de la cola, asigne recursos en nuestro sistema a aquellos en uso Programador FIFO de la aplicación: después de que se ejecuta un trabajo, otro puede ejecutar
Programador integrado de Yarn:
1. Primero- in-first-out (FIFO), un método adecuado para clústeres de baja carga. Un programador simple. (Aplicable a situaciones donde el número de tareas es pequeño)
2. Programador de capacidad, que asigna la capacidad mínima esperada a diferentes colas (es decir, usuarios o grupos de usuarios) y utiliza FIFO jerárquico en cada cola Programar múltiples aplicaciones . (Aplicable cuando hay muchas tareas pequeñas en ejecución y es necesario ocupar muchas colas. No usar colas causará un desperdicio de recursos)
3. Programador justo e imparcial, para diferentes aplicaciones (también puede ser para usuarios). o grupo de usuarios), cada aplicación pertenece a una cola, la idea principal es hacer que los recursos asignados a cada aplicación sean más o menos los mismos. (Por supuesto, también puede establecer el peso). Si solo hay una aplicación, entonces todos los recursos del clúster le pertenecen. Aplicable a: *** Disfrute de grandes grupos con grandes diferencias entre colas. (Uso de producción)
Habilitar el programador de capacidad:
Establecer en Yarn-site.xml en el nodo ResourceManager
Propiedad===gt;yarn. Scheduler.class
Valor=====gt;org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler