HDInsight性能问题 - 地图缩减

Question

我正在研究HDInsight map reduce。表现非常糟糕。

我已经创建了mapper键和值，如下所示：

Mapper.key =＆＃34; RequesitID＆＃34;

Mapper.Value =＆＃34;名称|年龄|日期|国家＆＃34;

在reducer中只添加mapper键和值：

减速器= Mapper.Key + Mapper.Value

有人可以提出最佳做法和提高绩效的方法吗？

Answer 1

我们需要更多信息。你有多少个映射器和缩减器？

通常，要优化MR查询，请考虑调整Mappers和Reducers，如下所示：http://wiki.apache.org/hadoop/HowManyMapsAndReduces

要优化Hive查询，请查看以下链接：https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-optimize-hive-query/