我正在尝试将一个HDFS位置中存在的文件复制到另一个HDFS位置。 文件的总原始大小为〜1 GB,复制的大小为〜3 GB。 即使相对于hadoop集群的功能而言,这并不是一个巨大的数据量,我还是收到以下错误:
线程“ main”中的异常java.lang.OutOfMemoryError:Java堆空间
我使用的复制命令是:
hadoop fs -cp /dev/hive/warehouse/Student_Details /test/hive/warehouse/Student_Details
源文件夹中有很多小文件。这是否会导致堆空间问题?关于如何解决这个问题的任何想法?