使用文件通道在水槽中耗尽可用空间

时间:2016-01-21 07:01:38

标签: flume flume-ng

我正在开发Flume,Spool目录作为源,HDFS作为接收器,文件作为通道。执行水槽工作时。我遇到了问题。内存通道工作正常。但我们需要使用文件通道实现相同的功能。使用文件频道我遇到了问题。

我已在flume.env.sh文件中将JVM内存大小配置为3GB。请让我知道我们需要做的任何其他设置。

2016年1月20日20:05:27,099 ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor](org.apache.flume.SinkRunner $ PollingRunner.run:160) - 无法发送事件。以下是例外情况。 java.lang.IllegalStateException:通道已关闭[channel = Artiva-memory-channel]。由于java.io.IOException:可用空间耗尽,仅剩427515904字节,需要524288000字节

2 个答案:

答案 0 :(得分:1)

文件通道与内存无关,但与HDD(磁盘)无关。这样的通道使用文件系统来存储数据。因此,请检查写入检查点文件和数据文件的磁盘中有多少可用空间(请查看FileChannel参数)。

答案 1 :(得分:0)

ERROR消息是关于内存通道的。请参阅“频道已关闭[频道= Artiva-memory-channel]” 检查分配给相关HDFS接收器的通道。 它将在flume.conf文件中,属性如下: agent_name.sinks.hdfs_sink_name.channel