我按照说明安装了Tachyon和Spark:
http://tachyon-project.org/documentation/Running-Spark-on-Tachyon.html
然而,作为一个新手,我不知道如何把文件" X"进入Tachyon文件系统,他们说:
$ ./spark-shell
$ val s = sc.textFile("tachyon-ft://stanbyHost:19998/X")
$ s.count()
$ s.saveAsTextFile("tachyon-ft://activeHost:19998/Y")
我所做的是指向现有文件(我通过管理UI找到):
scala> val s = sc.textFile("tachyon-ft://localhost:19998/root/default_tests_files/BasicFile_THROUGH")
s: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at textFile at <console>:21
当我运行计数时,我得到以下错误:
scala> s.count()
java.lang.NullPointerException: connectionString cannot be null
我认为我的道路是错的。所以有两个问题:
答案 0 :(得分:2)
我发现了这个问题。我没有这样做
sc.hadoopConfiguration.set("fs.tachyon.impl", "tachyon.hadoop.TFS")
在我完成这项练习http://ampcamp.berkeley.edu/5/exercises/tachyon.html#run-spark-on-tachyon之后,我发现了正确的道路:
val file = sc.textFile("tachyon://localhost:19998/LICENSE")
所以我的设置很好。这里的文档http://tachyon-project.org/documentation/Running-Spark-on-Tachyon.html给我带来了很多困惑。