Tachyon：在copyFromLocal命令期间无法重命名

Question

我使用Apache Spark构建应用程序。为了使RDD可以从其他应用程序中获得，我尝试了两种方法：

1. 使用tachyon
2. 使用a spark-jobserver

我是Tachyon的新手。我完成了a Running Tachyon on a Cluster

中给出的以下任务

我可以从master:19999网址访问用户界面。

从tachyon目录我成功创建了一个目录./bin/tachyon tfs mkdir /Test 但在尝试执行copyFromLocal命令时，我收到以下错误：

FailedToCheckpointException(message:Failed to rename hdfs://master:54310/tmp/tachyon/workers/1421840000001/8/93 to hdfs://master:54310/tmp/tachyon/data/93)

Answer 1

您最有可能在不同用户下运行tachyon和spark-jobserver，并将HDFS作为您的underFS。

查看https://tachyon.atlassian.net/browse/TACHYON-1339及相关补丁。

简单的方法是将tachyon和你的火花作业服务器作为同一个用户运行。

（稍微）更难的方法是移植补丁并重新编译spark，然后使用已修补的客户端进行sjs。