HDFS文件复制命令由于Java堆空间问题而失败

时间:2018-11-06 09:47:43

标签: hadoop hdfs

我正在尝试将一个HDFS位置中存在的文件复制到另一个HDFS位置。 文件的总原始大小为〜1 GB,复制的大小为〜3 GB。 即使相对于hadoop集群的功能而言,这并不是一个巨大的数据量,我还是收到以下错误:

  

线程“ main”中的异常java.lang.OutOfMemoryError:Java堆空间

我使用的复制命令是:

hadoop fs -cp /dev/hive/warehouse/Student_Details /test/hive/warehouse/Student_Details

源文件夹中有很多小文件。这是否会导致堆空间问题?关于如何解决这个问题的任何想法?

0 个答案:

没有答案