Cómo utilizar código Java para almacenar directamente datos obtenidos desde el exterior en hdfs
Hay varios formatos de datos para almacenar en HDFS. Aquí enumeraré un formato de almacenamiento: public?class?SeqWrite?{
private?static?final ?String[]. ?datos?=?{?"a,b,c,d,e,f,g",?"h,i,j,k,l,m,n",?"o,p, q, r, s, t",? "u, v, w, x, y, z",? "0, 1, 2, 3, 4",? "5, 6, 7, 8, 9"? }; p>
public?static?void?main(String[]?args)?throws?IOException,?Exception?{
¿Configuración?configuration?=?new?Configuration() ;
//Esta es la dirección de su host
configuración.set("fs.defaultFS",?"192.168.51.140");
// Esta es la ruta almacenada
Path?path?=?new?Path("/tmp/test1.seq");
Option?option?=?SequenceFile.Writer.file (ruta) ;
Option?optKey?=?SequenceFile.Writer.keyClass(IntWritable.class);
Option?optValue?=?SequenceFile.Writer.valueClass(Text.class );
SequenceFile.Writer?writer?=?null;
IntWritable?key?=?new?IntWritable(10);
Text?value?=?new ?Text();
escritor?=?SequenceFile.createWriter(configuration,?option,?optKey,?optValue);
for?(int?i?= ?0; ?i?lt;?data.length;?i )?{
key.set(i);
value.set(data[i]);
escritor.append(clave,?valor);
escritor.hsync()
Thread.sleep(10000L); p>
IOUtils.closeStream(escritor);
}
}