我有一个关于A hadoop作为存储系统的问题。
我有一个3个数据节点的hadoop集群，我想直接将大小为128mb（假设分割大小为64mb）的巨大文件分割到我选择的数据节点。 这就是如何在这种情况下控制哪个分割到哪个DataNode。我的意思是假设我们有3个数据节点（即D1，D2，D3），我们希望特定的分割（比如'A'）我希望它移动到特定的数据节点让它成为D2。
我们怎么做？
hadoop文件系统的最小分割大小是多少。我们如何将其配置为最小分割大小。
答案 0 :(得分：1)
1）您无法控制数据块的放置位置
2）尽可能小（尽管可能是1024字节的倍数，但我不认为这有实际约束），但在现代硬件上，任何小于64/128 MB的效率都是低效的（如果在MR作业中执行任何CPU密集型操作，则可以指定较小的处理拆分大小）