如何在reduce阶段工作时启动map阶段

Question

我有这种情况。 JobA和JobB。有没有机会使用JobA减少阶段提供的数据启动JobB映射阶段，而这仍然有效？

谢谢！

Answer 1

我唯一想到的是拥有一个线程（在你的驱动程序类中启动），它永久地检查JobA的输出目录。 当创建并完全写入特定（一组）part-r-xxxx文件时，您可以启动JobB作为特定（一组）part-r-xxxx文件的输入。

我现在唯一能识别的问题是检查part-r-xxxx文件是否已完全写入。