Cómo depurar trabajos de Hadoop con eclipse
Modifica el archivo mapred-site.xml y agrega la siguiente configuración:
<Properties>
<Name>mapred.child.Java .opts</name>
<value>-agent lib:jdwp=transport=dt_socket,address=8883,server=y,suspend=y</value& gt;
& lt/property & gt;
Cierre todos los rastreadores de tareas, excepto el configurado anteriormente que debe depurarse.
Iniciar trabajo de Mapreduce
Haga clic con el botón derecho en el proyecto hadoop src, haga clic con el botón derecho en Depurar como, seleccione Configuraciones de depuración, seleccione Aplicación Java remota, agregue una nueva prueba, ingrese la IP del host remoto y escuche en el puerto, 8883 en el ejemplo anterior, y haga clic en el botón Depurar. En este punto, debe conectarse al subproceso remoto del rastreador de tareas e ingresar la ubicación del punto de interrupción para poder depurar en un solo paso.
Ejemplo de llamada a VM en modo socket de conexión Eclipse
Java-Xdebug-Xrunjdwp:transport = dt_socket, server=y, dirección="8000" -jar test
Inicie Eclipse utilizando la configuración de inicio remoto y especifique la dirección de VM de destino de la aplicación remota. Para hacer esto, haga clic en Ejecutar > Configuraciones de depuración y haga doble clic en Aplicación Java remota en el menú de Eclipse. Especifique la IP y el puerto para la aplicación de destino desde la configuración de inicio recién creada. Para ejecutar una aplicación remota en la misma máquina, simplemente especifique la IP del host como localhost o 127.0.0.1.
Pregunta 1: ¿Windows Hadoop HDFS no puede establecer permisos de ruta?
Respuesta:
Reemplace el hadoop-core-1.0.2.jar al que hace referencia el proyecto con hadoop-core-0.20.2.jar y todo estará bien.
O descargue el paquete jar modificado.
/?cid = cf7746837803bc50 & ampid = cf 7746837803 aC 50% 211276authkey=! AJCcrNRX9RCF6FA
Coloque org.apache.hadoop.fs.FileUtil en el código fuente de hadoop en el proyecto y modifique FileUtil.checkReturnValue usted mismo, para que esta excepción no se informe en Windows.
O simplemente vuelva a compilar el jar de hadoop usted mismo.
Pregunta 2: Hadoop: ¿No hay ninguna excepción en la ruta de entrada?
Respuesta:
/龙在天国/article/Details/6773468
Porque el directorio de entrada local no está cargado en HDFS. Apache. Hadoop. Mapa rojo. Se produjo una excepción InvalidingPutException:
La ruta de entrada no existe: HDFS://localhost:9000/user/root/input
La solución es crear un directorio de entrada en eclipse y agregarlo. Configurar en los parámetros de entrada del programa.