HDFS文件位置/副本放置提示

时间:2013-06-26 13:06:01

标签: hadoop mapreduce hdfs

有没有办法告诉HDFS我想在某些文件创建过程中获取文件副本?好的,我明白这可能只是暗示,无论如何都无法保证。谢谢。

为什么我需要这个?我有MapReduce工作(实际上是它们的链)并且由于我可以控制输入拆分局部性,我希望以前的工作减少器能够考虑下一个工作映射器“最可能的”位置。这是如何解决我的问题的替代方案之一。有什么想法吗?

1 个答案:

答案 0 :(得分:1)

应该可以使用this。它允许您编写Java代码,指定HDFS应如何分配文件块的副本。

HTH