Hadoop分析两个具有不同结构的文件

时间:2016-11-30 01:48:52

标签: hadoop hive

我如何在hadoop中分析两个具有不同结构的文件(没有MapReduce)?

Ex:文件1是csv在第三列中有O2索引

文件2是csv在第二列中有O2索引

我知道我可以使用MapReduce进行手动分析,但无论如何更自动?因为它不仅仅是两个文件。可能更多!

由于

1 个答案:

答案 0 :(得分:1)

您可以将这两个文件存储在不同的位置,构建两个单独的配置单元表,然后将这两个表合并为一个视图......

这很可能效率很低,可能应该使用自定义Map / Reduce来完成。