标签： hadoop mapreduce hive yarn hortonworks-data-platform
我有一个标准配置的HDP 2.2环境，包含Hive，HBase和YARN。
我已经使用Hive（/ w HBase）对一个有大约1000万行的表执行简单的计数操作，结果是YARN消耗了10GB的内存。
如何减少内存消耗？为什么只需要计算行数就需要这么多内存？
答案 0 :(得分：1)
简单的计数操作涉及后端的map reduce作业。在你的情况下，这涉及1000万行。请查看here以获得更好的解释。那么这只是针对背景和执行时间发生的事情，而不是关于内存要求的问题。至少，它会给你一个寻找的地方。 This也没有什么解决方案可以加快速度。快乐的编码