我已经部署了一个基于HDFS集群的alluxio集群。当我使用Alluxio Native Java Api将一些文件写入alluxio设置writtyype ASYNC_THROUGH时,文件(即使只有1G)似乎没有写入HDFS,保持状态为TO_BE_PERSISTED all几天后的时间。
答案 0 :(得分:0)
我找到了答案。我发现log" ERROR DefaultAsyncPersistHandler - 并非文件/test/sample_data/order_detail_titile_2.0.txt的所有块都存储在同一个worker#34;,当使用ASYNC_THROUGH时,Alluxio请求一个worker中的所有文件阻止程序。我使用CACHE_THROUGH
时没有问题