Mapreduce Job实现HiveQL语句

Question

我有一个问题。如何使用Mapreduce Job实现HiveQL语句。例如，我们有一个表名列颜色，宽度和其他列。假设我想在蜂巢中选择颜色，我可以从tablename中选择颜色;以同样的方式，在Mapreduce中获取颜色的代码是什么。

Answer 1

您可以使用Thrift服务器。您可以通过JDBC连接到配置单元。您只需要在类路径中包含hive-jdbc jar。

但是这是可取的吗？好吧，我不太确定。如果你在mapper中这样做，那么这是一个非常糟糕的设计模式。映射器的数量由数据大小决定。

同样可以实现MR作业的多个输入。

但是我对你的用例知之甚少。所以节俭将是最佳选择。

Answer 2

要将hive查询转换为mapreduce作业，ysmart是最佳选择

http://ysmart.cse.ohio-state.edu/

可以下载ysmart或使用在线版本。

Answer 3

查看Chapter 5 - Join Patterns本书中的companion code MapReduce Design Patterns。在连接模式中，字段在映射器中提取并发出。