简单的Tachyon示例失败,"无法重命名"在GCE的underFSStorage中

时间:2015-10-17 04:01:44

标签: scala apache-spark google-compute-engine alluxio

运行一个简单示例时,我收到此错误。

我尝试更改权限并使用不同的目录。

#wrapper {
    width: 80%;
    opacity: 0.8;
    margin: auto;
    overflow: hidden;
}

#content {
    padding: 3.5em 4em;
    width: 100%;
    background-color: #CCCCCC;
}

#footer {
    width: 100%;
    clear: left;
    height: 4em;
    background-color: black;
    color: white;
}

有什么想法吗?

  

我在下面的回答实际上并没有解决这个问题。它只是一个   使用HDFS作为UnderFS的解决方法。

     

我的配置在这里使用本地文件系统:

Caused by: java.io.IOException: FailedToCheckpointException(message:Failed to rename /home/bryan/tachyon-0.7.1/underFSStorage/tmp/tachyon/workers/1445054000001/3/8 to /home/bryan/tachyon-0.7.1/underFSStorage/tmp/tachyon/data/8)
    at tachyon.worker.WorkerClient.addCheckpoint(WorkerClient.java:130)
    at tachyon.client.TachyonFS.addCheckpoint(TachyonFS.java:228)
    at tachyon.client.FileOutStream.close(FileOutStream.java:105)

1 个答案:

答案 0 :(得分:0)

首先检查我的Hadoop版本,我听到了这个错误:

hadoop version
> Hadoop 2.7.1

然后为Hadoop 2.7.0编译Tachyon: (对于2.7.1,它不会编译)

mvn -Dhadoop.version=2.7.0 clean install

TACHYON_UNDERFS_ADDRESS设置为本地HDFS地址:

nano conf/tachyon-env.sh
export TACHYON_UNDERFS_ADDRESS=hdfs://my-cluster-m:8020

这会导致另一个可能影响您的问题(如果运行单个节点):

Tachyon on Dataproc Master Replication Error