Red de conocimiento informático - Conocimiento del nombre de dominio - Cómo utilizar código Java para almacenar directamente datos obtenidos desde el exterior en hdfs

Cómo utilizar código Java para almacenar directamente datos obtenidos desde el exterior en hdfs

Hay varios formatos de datos para almacenar en HDFS. Aquí enumeraré un formato de almacenamiento: public?class?SeqWrite?{

private?static?final ?String[]. ?datos?=?{?"a,b,c,d,e,f,g",?"h,i,j,k,l,m,n",?"o,p, q, r, s, t",? "u, v, w, x, y, z",? "0, 1, 2, 3, 4",? "5, 6, 7, 8, 9"? };

public?static?void?main(String[]?args)?throws?IOException,?Exception?{

¿Configuración?configuration?=?new?Configuration() ;

//Esta es la dirección de su host

configuración.set("fs.defaultFS",?"192.168.51.140");

// Esta es la ruta almacenada

Path?path?=?new?Path("/tmp/test1.seq");

Option?option?=?SequenceFile.Writer.file (ruta) ;

Option?optKey?=?SequenceFile.Writer.keyClass(IntWritable.class);

Option?optValue?=?SequenceFile.Writer.valueClass(Text.class );

SequenceFile.Writer?writer?=?null;

IntWritable?key?=?new?IntWritable(10);

Text?value?=?new ?Text();

escritor?=?SequenceFile.createWriter(configuration,?option,?optKey,?optValue);

for?(int?i?= ?0; ?i?lt;?data.length;?i )?{

key.set(i);

value.set(data[i]);

escritor.append(clave,?valor);

escritor.hsync()

Thread.sleep(10000L); p>

IOUtils.closeStream(escritor);

}

}