Question

我有一个火花工作，根据我的分区方式，以两种方式之一炸毁我们的CDH群集。这项工作的目的是产生1到210,094,780,875组四个整数。该作业通过spark-submit提交，master设置为YARN。以下是此问题的代码片段：

    // build rdd and let cluster build up the ngram list        
    val streamList_rdd = sc.parallelize(streamList).repartition(partitionCount) 
    val rdd_results = streamList_rdd.flatMap { x => x.toList }
    println(rdd_results.count())

streamList 是已使用楼层/天花板值（包含两个Int的元组）播种的生成器列表，这些生成器将生成由楼层/天花板限定的四个整数集。我们的想法是将群集中的生成工作以及前端脱落的那些工作分配出来。如果 partitionCount 太低（因此每个分区的大小很大），工作人员会因内存不足而爆炸。如果 partitionCount 很高（因此从内存角度来看每个分区的大小都是可管理的），您会看到类似这样的错误：

java.io.IOException: Connection reset by peer
at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
at sun.nio.ch.IOUtil.read(IOUtil.java:192)
at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:379)
at io.netty.buffer.PooledUnsafeDirectByteBuf.setBytes(PooledUnsafeDirectByteBuf.java:313)
at io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:881)
at io.netty.channel.socket.nio.NioSocketChannel.doReadBytes(NioSocketChannel.java:242)
at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:119)
at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511)
at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468)
at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382)
at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354)
at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111)
at java.lang.Thread.run(Thread.java:745)

我理解的内存问题 - 我不理解的是为什么存在高分区计数（~100k或更高）的问题。我是否有办法在保留YARN在管理集群资源方面的作用的同时完成这项工作？

Answer 1

鉴于数据量和内存错误的存在，我认为您需要分配更多的群集资源。

增加分区可提高并行性，但代价是在已经不够大的群集上消耗更多资源。我还怀疑重新分区操作会导致一次洗牌，这种情况在最好的情况下是一项昂贵的操作，非常糟糕（灾难性的！）当你有足够的数据来记忆时。但没有日志，这就是猜想。

心跳失败的原因很可能是执行者处于如此沉重的负荷之下，无法及时响应，或者该过程已经崩溃/被YARN杀死......

尽管分区我一直在炸毁火花群

1 个答案: