获取map-reduce作为流的结果

Question

我在Java中编写map-reduce作业我想知道是否可以获得作为流的输出（可能是输出流）而不是物理输出文件。我的目标是将流用于另一个应用程序。

Answer 1

您可以编写自定义输出格式，并将该写入用于您想要的任何流。不一定是文件。请参阅this有关如何编写自定义输出格式的教程。

否则您可以使用Hadoop Streaming API。看看here。

Answer 2

我认为你不能使用Apache-Hadoop做到这一点。它被设计为在分布式系统中工作，AFAIK提供发出output stream的方式会违反目的，然后系统将如何决定 stream 发出，即减少哪个！你可以写一个平面文件/ DB / amazon-s3等，但也许你不会得到一个流。