Cómo ver los registros generados durante la operación de Hadoop

Hadoop HDFS solo tiene registros de servicio, que son similares a los registros de servicio de Hadoop MapReduce;

Los registros de Hadoop MapReduce se dividen en dos partes, una es el registro de servicio y el otro son los registros de trabajo, las descripciones detalladas son las siguientes:

1. Versión de Hadoop 1.x

Los registros de servicio de MapReduce en Hadoop 1.x incluyen. Registros de JobTracker y registros únicos de TaskTracker Las ubicaciones de los registros son las siguientes (interfaz web También puede verlo en su registro, la URL es):

El registro del servicio MapReduce en 2.x incluye el registro de JobTracker y. un único registro de TaskTracker. Sus ubicaciones de registro son las siguientes (la interfaz web también puede ver su registro, la URL es http://IP del nodo maestro: 50030):

JobTracker: en el nodo de instalación de JobTracker, el. la ubicación predeterminada es

${hadoop.log.dir}/logs/*- jobtracker-*.log, este archivo se genera una vez al día. El registro antiguo tiene el sufijo fecha y el archivo de registro de. el día actual tiene el sufijo ".log". El valor predeterminado de ${hadoop.log.dir} es el directorio de instalación de hadoop, es decir, $ {HADOOP_HOME}.

TaskTracker: en cada nodo de instalación de TaskTracker, la ubicación predeterminada es

$HADOOP_HOME/logs/*-tasktracker-*.log. Este archivo se genera una vez al día y el antiguo. El registro será Después de un registro, el sufijo del archivo de registro del día es ".

El registro de trabajo consta de dos partes: el registro del historial de trabajo y el registro de tareas. El registro del historial de trabajo es el tiempo de ejecución del trabajo. registro, incluida la hora de inicio y finalización del trabajo, la hora de inicio y finalización de cada tarea y diversa información del contador, etc. El registro del historial del trabajo es el registro del tiempo de ejecución del trabajo, incluida la hora de inicio y la hora de finalización del trabajo. la hora de inicio y finalización de cada tarea, y diversa información del contador. Los usuarios pueden analizar diversa información sobre el trabajo que se ejecuta desde este registro. Esta es información valiosa. del nodo donde se encuentra JobTracker. Se puede acceder a él a través del parámetro hadoop.job.history.location. Cada registro de tarea se almacena en ${hadoop.log.dir}/userlogs// directorio en el nodo donde se ejecuta la tarea. Cada tarea contiene tres archivos de registro: stdout, stderr y syslog, donde stdout es el registro impreso a través de la salida estándar (como System.out.println) y println. impreso a través de la salida estándar no se mostrará directamente en el terminal, sino que se guardará en este archivo, syslog. Es un registro impreso por log4j. Por lo general, este registro contiene la información más útil y también es el registro de referencia más crítico en la depuración de errores.

2. Versión de Hadoop 2.x.

Los registros de servicio del sistema YARN en Hadoop 2.x incluyen registros de ResourceManager y registros de NodeManager únicos, que se encuentran en las siguientes ubicaciones. :

Los registros de ResourceManager se encuentran en el directorio de registro del directorio de instalación de Hadoop.

Los registros de ResourceManager se almacenan en Yarn-*-resourcemanager-*.log en el directorio de registros en el directorio de instalación de Hadoop

Los registros de NodeManager se almacenan en Yarn-*-nodemanager-*.log en el directorio de registros en directorio de instalación de hadoop medio.

Los registros de aplicaciones incluyen registros de historial de trabajos y registros de contenedores, donde los registros de historial de trabajos son registros de tiempo de ejecución de la aplicación, incluida la hora de inicio, la hora de finalización, la hora de inicio y la hora de finalización de cada tarea, y diversa información de contador.

Los registros de contenedor incluyen registros de ApplicationMaster y registros de tareas comunes, que se almacenan en el directorio application_xxx en el directorio de registros de usuario en el directorio de instalación de Hadoop. El nombre del directorio de registros de ApplicationMaster es contenedor_xxx_000001, y los nombres del directorio de registros de tareas comunes son. contenedor_xxx_000002 y contenedor_xxx_000003,.... Como en Hadoop 1.x, cada directorio contiene tres archivos de registro: stdout, stderr y syslog, que tienen el mismo significado.