Question

我写了MR作业，它将处理超过5800个输入文件。当我开始它的时候，＃34;线程中的异常＆＃34;主要＆＃34; java.lang.OutOfMemoryError：超出GC开销限制＆＃34;。下面是异常堆栈跟踪：

Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded
    at org.apache.hadoop.security.token.Token.<init>(Token.java:85)
    at org.apache.hadoop.hdfs.protocol.LocatedBlock.<init>(LocatedBlock.java:52)
    at org.apache.hadoop.hdfs.protocolPB.PBHelper.convert(PBHelper.java:755)
    at org.apache.hadoop.hdfs.protocolPB.PBHelper.convertLocatedBlock(PBHelper.java:1174)
    at org.apache.hadoop.hdfs.protocolPB.PBHelper.convert(PBHelper.java:1192)
    at org.apache.hadoop.hdfs.protocolPB.PBHelper.convert(PBHelper.java:1328)
    at org.apache.hadoop.hdfs.protocolPB.PBHelper.convert(PBHelper.java:1436)
    at org.apache.hadoop.hdfs.protocolPB.PBHelper.convert(PBHelper.java:1445)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getListing(ClientNamenodeProtocolTranslatorPB.java:549)
    at sun.reflect.GeneratedMethodAccessor4.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
    at com.sun.proxy.$Proxy23.getListing(Unknown Source)
    at org.apache.hadoop.hdfs.DFSClient.listPaths(DFSClient.java:1893)
    at org.apache.hadoop.hdfs.DistributedFileSystem$15.<init>(DistributedFileSystem.java:742)
    at org.apache.hadoop.hdfs.DistributedFileSystem.listLocatedStatus(DistributedFileSystem.java:731)
    at org.apache.hadoop.fs.FileSystem.listLocatedStatus(FileSystem.java:1664)
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:300)
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:264)
    at org.apache.hadoop.mapreduce.lib.input.SequenceFileInputFormat.listStatus(SequenceFileInputFormat.java:59)
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:385)
    at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:589)
    at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:606)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:490)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1295)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1292)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1292)

Map-Reduce的输入文件数量是否有限制。我试图用1.2 GB内存alos运行它

Answer 1

由于您没有向我们展示任何代码，因此只能进行一般性讨论。

此问题不是由文件 number 的任何Hadoop特定限制引起的。它可能是由于文件的聚合大小...在读取内容并将其加载到堆中之后。但不一定。

这里实际发生的是你已经（几乎）填满了堆，而JVM已经决定你花费太多时间进行垃圾收集。

从广义上讲，造成此类问题的原因有三种：

堆太小，无法解决您要解决的问题。
您的应用程序正在低效使用内存。
您的应用程序存在内存泄漏。

在你的情况下，我首先假设它是问题1.我会尝试使用更少的文件和/或尝试使用（更多）更大的堆。如果其中任何一个解决了问题，那么（现在）已经完成了，但显然这将限制你可以处理的问题的大小。

如果这不能解决问题，那么你就会把它看作是在寻找内存泄漏;即找出应用程序使用这么多（太多）内存的原因。

我会注意到1.2Gb并不是一个特别大的堆。

当输入文件数量很大时，Map Reduce会超出GC开销限制

1 个答案: