Spark Tachyon: Jak usunąć plik?

Question

W Scali, jako eksperyment, tworzę plik sekwencji na Tachyonie używając Sparka i odczytuję go z powrotem. Chcę usunąć plik z Tachyon również za pomocą skryptu Spark.

val rdd = sc.parallelize(Array(("a",2), ("b",3), ("c",1))) 
rdd.saveAsSequenceFile("tachyon://127.0.0.1:19998/files/123.sf2") 
val rdd2 = sc.sequenceFile[String,Int]("tachyon://127.0.0.1:19998/files/123.sf2") 

Nie rozumiem języka Scala bardzo dobrze i nie mogę znaleźć odniesienia do manipulacji ścieżką pliku. Znalazłem sposób na wykorzystanie Java w Scala, aby to zrobić, ale nie mogę go uruchomić przy użyciu Tachyona.

import java.io._ 
new File("tachyon://127.0.0.1:19998/files/123.sf2").delete() 

Answer 1

Istnieją różne sposoby, np .:

• CLI:

  ./bin/tachyon tfs rm filePath 
  

Więcej informacji: http://tachyon-project.org/Command-Line-Interface.html

• API:

  TachyonFS sTachyonClient = TachyonFS.get(args[0]); 
  sTachyonClient.delete(filePath, true); 
  

Więcej informacji: https://github.com/amplab/tachyon/blob/master/core/src/main/java/tachyon/examples/BasicOperations.java