alluxio不在群集中分发文件

时间:2017-06-19 07:05:13

标签: apache-spark alluxio

我正在为alluxio(1.4版本)使用6节点集群,但它不会在集群中分配文件,一个工作程序仅使用98%而其他工作程序正在使用50%-55% 主节点仅使用18% 我在所有节点的alluxio-site.properties文件中使用“alluxio.user.file.write.location.policy.class = alluxio.client.file.policy.MostAvailableFirstPolicy”。

1 个答案:

答案 0 :(得分:0)

alluxio.user.file.write.location.policy.class是客户端属性。要使它生效,它必须位于将数据写入Alluxio的应用程序的类路径中。另请注意,该策略仅适用于新写入的文件,因此不会主动重新平衡现有数据。

Location policy documentation