Spark Tachyon:如何删除文件?

时间:2014-07-19 02:45:23

标签: scala apache-spark alluxio

在Scala中,作为一个实验,我使用Spark在Tachyon上创建了一个序列文件并将其重新读入。我想使用Spark脚本从Tachyon中删除该文件。

val rdd =  sc.parallelize(Array(("a",2), ("b",3), ("c",1)))
rdd.saveAsSequenceFile("tachyon://127.0.0.1:19998/files/123.sf2")
val rdd2 = sc.sequenceFile[String,Int]("tachyon://127.0.0.1:19998/files/123.sf2")

我不太了解Scala语言,我找不到关于文件路径操作的参考。我确实找到了一种在Scala中以某种方式使用Java来实现此目的的方法,但我无法使用Tachyon来使用它。

import java.io._
new File("tachyon://127.0.0.1:19998/files/123.sf2").delete()

1 个答案:

答案 0 :(得分:-1)

有不同的方法,例如:

  • CLI:

    ./bin/tachyon tfs rm filePath
    

更多信息:http://tachyon-project.org/Command-Line-Interface.html

  • API:

    TachyonFS sTachyonClient = TachyonFS.get(args[0]);
    sTachyonClient.delete(filePath, true);
    

更多信息: https://github.com/amplab/tachyon/blob/master/core/src/main/java/tachyon/examples/BasicOperations.java