Flume:没有抛出任何错误,但水槽无法完全传输文件

时间:2013-06-26 07:55:53

标签: apache hadoop flume

过去2-3周我一直在研究水槽问题。我遇到了一个不知道如何解决的新情况。

流程:使用基本流程,spoolDir - > fileChannel - > HDFS

.conf文件中没有设置额外的参数

我正在尝试传输的文件大小:1.4GB

情况:代理启动正常,文件传输开始正常,源文件重命名为.COMPLETED,整个文件没有转移到HDFS,没有抛出错误/异常。我跑了几次同样的adhoc我发现在1.4演出中只有~169Mb正在转移。看起来很奇怪!

有什么建议吗?有解决方案吗任何假设?

2 个答案:

答案 0 :(得分:0)

你等了多久? 给它一个小时,你可能会看到一些东西。

你可能有一个损坏的fileChannel,它需要一些时间来清理它。

什么版本的Flume,顺便说一下?

答案 1 :(得分:0)

尝试向文件中添加更多数据并等待一段时间。日志中有什么有趣的东西吗?

还要确保你的HDFS还有足够的空间。