我一直在使用JobConf.setOutputCommitter()
方法为地图缩减作业设置我自己的OutputCommitter
。使用hadoop v 0.20,因为不推荐使用此类,设置自定义OutputCommitter
的替代方法是什么?我尝试在mapred.output.committer.class
中设置属性Configuration
,但这似乎是无效的属性。无法找到替代方案来做到这一点。
答案 0 :(得分:0)
我想这取决于你对新API的意思 - 在1.1.1中至少这是no longer deprecated - 我想我还记得读过整个mapred包过早地被弃用了,这在以前是不推荐的稍后发布。
如果通过新API,你的意思是mapreduce包而不是mapred,那么OutputFormats本身就有一个关联的OutputCommitter,它是通过OutputFormat.getOutputCommitter
方法获得的