有没有一种有效的方法来查找给定密钥的序列文件?

时间:2012-12-14 17:15:58

标签: hadoop sequencefile

我的map-reduce作业将最终结果写入序列文件。有没有有效的方法来查找给定密钥的序列文件?

1 个答案:

答案 0 :(得分:2)

如果从映射器发出的密钥与reducer中的密钥输出相同,那么您可以通过使用的分区程序运行搜索密钥(Hash Paritioner是默认值),传递密钥和作业最初的reducer数量跑。这应该给你发送密钥的减速器号码,因此应该包含它应该包含它的part-r-xxxxx文件。