Recuperación del trabajo de los componentes del hilo.
Rol mínimo requerido: Configurador (también proporcionado por el Administrador de clústeres y Administrador de control total) Rol mínimo requerido: Configurador (también proporcionado por el Administrador de clústeres y Administrador de control total)
CDH 5.2 presenta YARN ResourceManager y NodeManager para seguir trabajando. Si reinicia ResourceManager o NodeManager con la recuperación de conservación de trabajos habilitada, no se perderá ningún trabajo en curso. Puede configurar la recuperación de retención de trabajos por separado para ResourceManager o NodeManager. Puede habilitar la recuperación de retención de trabajos independientemente de si está utilizando Resource Manager High Availability.
Nota: YARN no admite alta disponibilidad para Job History Server (JHS). Si JHS falla, Cloudera Manager se reiniciará automáticamente.
Nota:
Después de mover el servidor JobHistory a un nuevo host, la URL que aparece para el servidor JobHistory en la interfaz de usuario web de ResourceManager todavía apunta al antiguo servidor JobHistory. Esto sólo afecta a los puestos de trabajo existentes. Los nuevos trabajos iniciados después de la mudanza no se verán afectados. Para cualquier trabajo existente con una URL del servidor JobHistory incorrecta, no hay otra opción que permitir que el trabajo implemente gradualmente el historial. Para trabajos nuevos, asegúrese de que todos los clientes tengan un mapred-site.xml actualizado que haga referencia al servidor del historial de trabajos correcto.
Si utiliza Cloudera Manager y habilita la alta disponibilidad de YARN (MRv2) ResourceManager, la recuperación que preserva el trabajo está habilitada para ResourceManager de forma predeterminada.
Para deshabilitar la recuperación de mantenimiento del trabajo de ResourceManager, haga lo siguiente:
El valor predeterminado para el directorio de recuperación es /var/lib/Hadoop-yarn/yarn-nm-recovery.
De forma predeterminada, Cloudera Manager admite la recuperación de retención de trabajos.
Si es necesario, los siguientes son los pasos para habilitar la recuperación de retención de trabajos para un administrador de nodo determinado:
Rol mínimo requerido: Configurador (también proporcionado por el Administrador de clústeres, Administrador completo)
Importante:
Después de habilitar la alta disponibilidad de YARN (MRv2) ResourceManager, agregue elementos de configuración a Yarn-site.xml en ResourceManager y en todos los administradores de nodos.
Los servicios auxiliares deben diseñarse para admitir la recarga del estado anterior después de reiniciar el administrador de nodos. El servicio auxiliar de ejemplo (servicio ShuffleHandler de MapReduce) sigue el patrón correcto para los servicios auxiliares que admiten la recuperación del administrador de nodos.
Para obtener más información, consulte Inicio, detención y reinicio de servicios.
Rol mínimo requerido: Configurador (también proporcionado por el Administrador de clústeres, Administrador completo)
Si no está utilizando Cloudera Manager, la siguiente configuración de ejemplo se puede utilizar con el fragmento de configuración avanzada de Cloudera Manager. Úselos juntos o agréguelos directamente a Yarn-site.xml.