Flume频道容量已满,例外情况

时间:2015-10-16 19:34:06

标签: hadoop-streaming flume-twitter

我已经开始使用Twitteragent将Twitter数据提取到hdfs中,几分钟之后数据无法写入hdfs,它在终端中弹出一条消息,如下所述。

错误

org.apache.flume.ChannelException:获取MemoryTransaction列表,容量100满,考虑更频繁地提交,增加容量或增加org.apache.flume.channel.MemoryChannel $ MemoryTransaction.doTake(MemoryChannel.java)中的线程数:101)org.apache.flume.channel.BasicTransactionSemantics.take(BasicTransactionSemantics.java:113)位于org.apache.flume.sink的org.apache.flume.channel.BasicChannelSemantics.take(BasicChannelSemantics.java:95)。 hdfs.HDFSEventSink.process(HDFSEventSink.java:391)org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:68)at org.apache.flume.SinkRunner $ PollingRunner.run(SinkRunner.java:147) at java.lang.Thread.run(Thread.java:853)2015-10-16 15:14:18,126(SinkRunner-PollingRunner-DefaultSinkProcessor)[ERRORorg.apache.flume.SinkRunner $ PollingRunner.run(SinkRunner.java:160) )]无法提供活动。以下是例外情况。 org.apache.flume.EventDeliveryException:org.apache.flume.ChannelException:获取MemoryTransaction列表,容量100满,考虑更频繁地提交,增加容量或增加线程数

我想我们需要增加频道容量,但不确定需要帮助。

0 个答案:

没有答案