在没有输出文件的情况下运行Hadoop作业

Question

是否可以在不指定输出文件的情况下运行hadoop作业？ 当我尝试运行hadoop作业时，没有指定输出文件Exception被抛出。 任何人都可以使用Java提供任何程序。

我正在将reduce处理的数据写入非关系数据库，因此我不再需要它写入HDFS。

Answer 1

不幸的是，你不能真的这样做。编写输出是框架的一部分。当你在框架之外工作时，你基本上只需处理后果。

您可以使用NullOutputFormat，它不会向HDFS写入任何数据。不过，我认为它仍会创建文件夹。您可以随时让Hadoop创建文件夹，然后delete it。