Phoenix csv批量加载因大型数据集而失败

时间:2018-02-23 18:56:50

标签: hadoop mapreduce yarn hdinsight phoenix

我正在尝试在HDInsight Hbase群集上使用Phoenix csv批量加载工具加载数据集(280GB)。作业失败,出现以下错误:

  

18/02/23 06:09:10 INFO mapreduce.Job:任务ID:   attempt_1519326441231_0004_m_000067_0,状态:FAILEDError:Java堆   由ApplicationMaster.Container杀死的spaceContainer被杀死   请求。退出代码是143Container,退出时带有非零退出代码   143

这是我的群集配置:

Region Nodes
8 cores, 56 GB RAM, 1.5TB HDD
Master Nodes
4 cores, 28GB, 1.5TB HDD

我尝试将yarn.nodemanager.resource.memory-mb的值从5GB增加到38GB,但作业仍然失败。

有人可以帮我解决这个问题吗?

0 个答案:

没有答案