将多个目录的文件组合为Hadoop输入

Question

有两个文件夹 A 和 B ，每个 n 文件。我想处理 A 和 B 中的每个文件对组合，即（A ₀ ，B ₀ ） ，（A ₀ ，B ₁ ），...，（A ₁ ，B ₀ ），（ ₁ ，B ₁ ），...（A _n ，B ₀ ），...， （A _n ，B _n ）。

是否有可能为该作业编写派生（File）InputFormat？或者将一个文档集合作为辅助数据（使用静态列表）共享并仅处理其他集合作为输入数据会更好吗？

Answer 1

在我看来，你想要实现的是一个交叉连接。 Hive，从版本0.10开始已经支持交叉连接，因此您可能希望使用它。