我可以在HDFS中使用不同的块放置策略吗？

Question

即。一个群集有多个应用程序，每个应用程序在副本所在的位置有不同的要求 - 我可以设置它以支持这些多个应用程序吗？

Answer 1

是的，有可能这样做。

注意：请自行承担风险。写入块放置策略非常复杂且有风险。您的应用程序需要确定复制品的放置方式，这似乎是一种代码味道。想想你是否真的需要编写块放置策略。警告过你，如果你想知道如何做到这一点，请继续。通常，此功能用于控制群集的平衡程度。例如。其中一个Hadoop供应商构建的策略之一是将磁盘放在磁盘上，使用的磁盘百分比最低。

以下是一大堆资源供您查看：

1. SO帖子有同样的问题：Modifying the block placement strategy of HDFS
2. 另一个SO：how does hdfs choose a datanode to store
3. 该功能首次发布时的2009年博客：HDFS block replica placement in your hands now!