Soluciones a errores comunes del clúster

Solución: ¿Es necesario emparejar la IP de Zookeeper?

Solución: ¿instalar hadoop primero?

Solución: la configuración del host es correcta, /etc/sysconfig/network/ etc/hosts /etc/sysconfig/network-scripts/ifcfg-eth0?

Solución: causado por un error de configuración de SSH, el nombre de host debe coincidir estrictamente, ¿reconfigurar el inicio de sesión sin contraseña de SSH?

5. Sugerencia: No formatee HDFS a voluntad. Esto causará muchos problemas, como versiones de datos inconsistentes. ¿Necesita borrar la carpeta de datos antes de formatear?

Solución: sshd está cerrado o no está instalado. Como resultado, ¿qué sshd verifica si está instalado? Si ya está instalado, reinicie sshd y ssh el nombre de host local para verificar si la conexión es exitosa.

Solución: agregue la configuración correspondiente al sitio de hilo. .xml para admitir la agregación de registros?

Solución: ¿Anormalidad en el modo hilo-lient, aún no hay solución?

Solución: El sistema Windows no puede resolver el nombre de dominio, copie el nombre de host del archivo de hosts a windows ¿En los hosts?

10. Sugerencia: La ruta del archivo HDFS se escribe como: hdfs://master:9000/file path, donde master es el nombre de host del nodo de nombre y 9000 es el hdfs. número de puerto.

?

Solución: ¿Configurar http://:19888/jobhistory/logs? en Yarn-site.xml, reiniciar Yarn y JobHistoryServer?

Solución: terminal de nodo namonode Ejecución: hdfs dfs -chmod -R 755 /?

13. Sugerencia: ¿Los trabajos enviados al clúster de hilo no se pueden imprimir directamente en la consola? ¿Se debe usar Log4j para generar el archivo de registro?

Solución. : 1. Cambie UTF a minúsculas utf-8 2. ¿Hay un espacio en la línea de codificación de configuración?

Solución: El recurso no se puede asignar demasiado grande o .setMaster("local") no se ha asignado eliminado

Solución: ¿Completar Yarn HA a través de un clúster zookeeper de tres nodos y un archivo de configuración Yarn-site.xml?

Solución: ¿Restaurar el puerto predeterminado 8088 de Yarn Http?

Solución: ¿El archivo de configuración es incorrecto, como que el nombre de host no coincide, etc.?

Solución: ¿buscar / -type f -size 10G?

Solución: ejecutar el comando hdfs balancer -Threshold 3 O ejecute el formato de script start-balancer.sh: $Hadoop_home/bin/start-balancer.sh -threshold El parámetro 3 es un parámetro de proporción, lo que significa 3, es decir, la desviación de uso directo del disco de cada DataNode es. ¿dentro de 3?

21. Sugerencia: la desviación de datos solo ocurre en el proceso de reproducción aleatoria. Los operadores que pueden desencadenar la operación de reproducción aleatoria son: ¿repartición de grupo por clave?

Solución: ¿Hay un problema con la configuración de Yarn-site.xml? ¿Verificar y estandarizar la configuración?

Solución: Los registros de servicio del sistema YARN en Hadoop 2.x incluyen. Los registros de ResourceManager y varios registros de NodeManager sus ubicaciones de registro son las siguientes: La ubicación de almacenamiento de registros de ResourceManager es Yarn-*-resourcemanager-*.log en el directorio de registros en el directorio de instalación de Hadoop. La ubicación de almacenamiento de registros de NodeManager es Yarn-*-nodemanager. -* en el directorio de registros en el directorio de instalación de hadoop en cada nodo de NodeManager.

24. Sugerencia: ¿Los archivos pequeños de menos de 128 M ocuparán un BLOQUE de 128 M? ¿Fusionar o eliminar archivos pequeños para ahorrar espacio en el disco?

Solución: 1) Borre los archivos de caché del usuario del directorio de datos de hadoop en: cd /data/hadoop/storage/tmp/nm-local-dir/usercache; escriba f -size 10M`;? 2) ¿Limpiar los datos basura del sistema de archivos de Linux?

Solución: cd /etc/profile.d ¿crear un nuevo script de configuración correspondiente aquí?