Red de conocimiento informático - Consumibles informáticos - Soluciones a errores comunes del clúster

Soluciones a errores comunes del clúster

Solución: ¿Es necesario emparejar la IP de Zookeeper?

Solución: ¿instalar hadoop primero?

Solución: la configuración del host es correcta, /etc/sysconfig/network/ etc/hosts /etc/sysconfig/network-scripts/ifcfg-eth0?

Solución: causado por un error de configuración de SSH, el nombre de host debe coincidir estrictamente, ¿reconfigurar el inicio de sesión sin contraseña de SSH?

5. Sugerencia: No formatee HDFS a voluntad. Esto causará muchos problemas, como versiones de datos inconsistentes. ¿Necesita borrar la carpeta de datos antes de formatear?

Solución: sshd está cerrado o no está instalado. Como resultado, ¿qué sshd verifica si está instalado? Si ya está instalado, reinicie sshd y ssh el nombre de host local para verificar si la conexión es exitosa.

Solución: agregue la configuración correspondiente al sitio de hilo. .xml para admitir la agregación de registros?

Solución: ¿Anormalidad en el modo hilo-lient, aún no hay solución?

Solución: El sistema Windows no puede resolver el nombre de dominio, copie el nombre de host del archivo de hosts a windows ¿En los hosts?

10. Sugerencia: La ruta del archivo HDFS se escribe como: hdfs://master:9000/file path, donde master es el nombre de host del nodo de nombre y 9000 es el hdfs. número de puerto.

?

Solución: ¿Configurar http://:19888/jobhistory/logs? en Yarn-site.xml, reiniciar Yarn y JobHistoryServer?

Solución: terminal de nodo namonode Ejecución: hdfs dfs -chmod -R 755 /?

13. Sugerencia: ¿Los trabajos enviados al clúster de hilo no se pueden imprimir directamente en la consola? ¿Se debe usar Log4j para generar el archivo de registro?

Solución. : 1. Cambie UTF a minúsculas utf-8 2. ¿Hay un espacio en la línea de codificación de configuración?

Solución: El recurso no se puede asignar demasiado grande o .setMaster("local") no se ha asignado eliminado

Solución: ¿Completar Yarn HA a través de un clúster zookeeper de tres nodos y un archivo de configuración Yarn-site.xml?

Solución: ¿Restaurar el puerto predeterminado 8088 de Yarn Http?

Solución: ¿El archivo de configuración es incorrecto, como que el nombre de host no coincide, etc.?

Solución: ¿buscar / -type f -size 10G?

Solución: ejecutar el comando hdfs balancer -Threshold 3 O ejecute el formato de script start-balancer.sh: $Hadoop_home/bin/start-balancer.sh -threshold El parámetro 3 es un parámetro de proporción, lo que significa 3, es decir, la desviación de uso directo del disco de cada DataNode es. ¿dentro de 3?

21. Sugerencia: la desviación de datos solo ocurre en el proceso de reproducción aleatoria. Los operadores que pueden desencadenar la operación de reproducción aleatoria son: ¿repartición de grupo por clave?

Solución: ¿Hay un problema con la configuración de Yarn-site.xml? ¿Verificar y estandarizar la configuración?

Solución: Los registros de servicio del sistema YARN en Hadoop 2.x incluyen. Los registros de ResourceManager y varios registros de NodeManager sus ubicaciones de registro son las siguientes: La ubicación de almacenamiento de registros de ResourceManager es Yarn-*-resourcemanager-*.log en el directorio de registros en el directorio de instalación de Hadoop. La ubicación de almacenamiento de registros de NodeManager es Yarn-*-nodemanager. -* en el directorio de registros en el directorio de instalación de hadoop en cada nodo de NodeManager.

24. Sugerencia: ¿Los archivos pequeños de menos de 128 M ocuparán un BLOQUE de 128 M? ¿Fusionar o eliminar archivos pequeños para ahorrar espacio en el disco?

Solución: 1) Borre los archivos de caché del usuario del directorio de datos de hadoop en: cd /data/hadoop/storage/tmp/nm-local-dir/usercache; escriba f -size 10M`;? 2) ¿Limpiar los datos basura del sistema de archivos de Linux?

Solución: cd /etc/profile.d ¿crear un nuevo script de configuración correspondiente aquí?

Solución: Los nodos no iniciados carecen de paquetes relacionados con hilo, así que conserve todos. ¿Son consistentes los paquetes jar del nodo?

fs.trash.interval?

2880?

HDFS La configuración de la papelera puede recuperar eliminaciones accidentales. El valor configurado es el número de minutos, ¿0 significa deshabilitado?

Para restaurar el archivo, ejecute hdfs dfs -mv? /user/root/.Trash/Current/¿archivo eliminado accidentalmente/ruta original?

Solución: La modificación del script de Linux tendrá efecto en tiempo real. ¿Asegúrese de modificarlo después de que se hayan ejecutado todos los scripts para evitar efectos secundarios?