我已经开始使用Twitteragent将Twitter数据提取到hdfs中,几分钟之后数据无法写入hdfs,它在终端中弹出一条消息,如下所述。
错误
org.apache.flume.ChannelException:获取MemoryTransaction列表,容量100满,考虑更频繁地提交,增加容量或增加org.apache.flume.channel.MemoryChannel $ MemoryTransaction.doTake(MemoryChannel.java)中的线程数:101)org.apache.flume.channel.BasicTransactionSemantics.take(BasicTransactionSemantics.java:113)位于org.apache.flume.sink的org.apache.flume.channel.BasicChannelSemantics.take(BasicChannelSemantics.java:95)。 hdfs.HDFSEventSink.process(HDFSEventSink.java:391)org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:68)at org.apache.flume.SinkRunner $ PollingRunner.run(SinkRunner.java:147) at java.lang.Thread.run(Thread.java:853)2015-10-16 15:14:18,126(SinkRunner-PollingRunner-DefaultSinkProcessor)[ERRORorg.apache.flume.SinkRunner $ PollingRunner.run(SinkRunner.java:160) )]无法提供活动。以下是例外情况。 org.apache.flume.EventDeliveryException:org.apache.flume.ChannelException:获取MemoryTransaction列表,容量100满,考虑更频繁地提交,增加容量或增加线程数
我想我们需要增加频道容量,但不确定需要帮助。