如何在Hadoop中保留映射器中间文件

Question

有没有办法保存地图中间文件？

我使用属性template <typename T> class Foo : public IFoo<T> { public: explicit Foo(T const& value) : m_Value(value) { } bool Bar(T const& value) override { return BarImpl(value, traits::has_operator_eq<T>{}); } private: T m_Value; bool BarImpl(T const& value, std::false_type) { // some sensible default, in this case you might // consider just to return false assert(!"Called `Bar` on class that does not implement `operator==`."); throw std::logic_error("Called `Bar` on class that does not implement `operator==`."); } bool BarImpl(T const& value, std::true_type) { return value == m_Value; } }; 并将值设置为keep.files.task.pattern中的*.*，但仍然没有中间文件存在。我该如何解决这个问题？

Answer 1

来自Hadoop MapReduce intermediate output

  

我已将keep.task.files.pattern设置为。 00000。   mapred-site.xml和core-site.xml中的参数hadoop.tmp.dir   设置为$ HADOOP_HOME \ tmp。执行作业后，file.out和   file.out.index在   $ HADOOP_HOME的/ tmp / mapred /本地/的TaskTracker / praveensripati /工作缓存/ job_2011110319 37_0001 / attempt_2011 11031937_0001_m_0000 01_0 /输出   夹。这些文件采用SequenceFile格式。