Napisz plik w formacie hdf z Javą

Question

Chcę utworzyć plik w HDFS i zapisać w nim dane. Użyłem tego kodu:

Configuration config = new Configuration();  
FileSystem fs = FileSystem.get(config); 
Path filenamePath = new Path("input.txt"); 
try { 
    if (fs.exists(filenamePath)) { 
     fs.delete(filenamePath, true); 
    } 

    FSDataOutputStream fin = fs.create(filenamePath); 
    fin.writeUTF("hello"); 
    fin.close(); 
} 

Tworzy plik, ale nic w nim nie pisze. Szukałem dużo, ale nic nie znalazłem. Jaki jest mój problem? Czy potrzebuję pozwolenia na pisanie w HDFS?

Dzięki.

Answer 1

Proszę spróbować poniższego podejścia.

FileSystem fs = path.getFileSystem(conf); 
SequenceFile.Writer inputWriter = new SequenceFile.Writer(fs, conf, path, LongWritable.class, MyWritable.class); 
inputWriter.append(new LongWritable(uniqueId++), new MyWritable(data)); 
inputWriter.close(); 

Answer 2

Albo zdefiniować zmienną środowiskową HADOOP_CONF_DIR do folderu konfiguracyjnego Hadoop lub dodać następujące 2 linie w kodzie:

config.addResource(new Path("/HADOOP_HOME/conf/core-site.xml")); 
config.addResource(new Path("/HADOOP_HOME/conf/hdfs-site.xml")); 

Jeśli nie dodawać tego, klient będzie próbował pisać lokalny FS, co skutkuje wyjątkiem odmowy uprawnień.

Answer 3

alternatywą @ asnwer Tariqa można przekazać URI, gdy uzyskanie plików

Configuration configuration = new Configuration(); 
FileSystem hdfs = FileSystem.get(new URI("hdfs://localhost:54310"), configuration); 
Path file = new Path("hdfs://localhost:54310/s2013/batch/table.html"); 
if (hdfs.exists(file)) { hdfs.delete(file, true); } 
OutputStream os = hdfs.create(file, 
    new Progressable() { 
     public void progress() { 
      out.println("...bytes written: [ "+bytesWritten+" ]"); 
     } }); 
BufferedWriter br = new BufferedWriter(new OutputStreamWriter(os, "UTF-8")); 
br.write("Hello World"); 
br.close(); 
hdfs.close();