过去2-3周我一直在研究水槽问题。我遇到了一个不知道如何解决的新情况。
流程:使用基本流程,spoolDir - > fileChannel - > HDFS
.conf文件中没有设置额外的参数
我正在尝试传输的文件大小:1.4GB
情况:代理启动正常,文件传输开始正常,源文件重命名为.COMPLETED,整个文件没有转移到HDFS,没有抛出错误/异常。我跑了几次同样的adhoc我发现在1.4演出中只有~169Mb正在转移。看起来很奇怪!有什么建议吗?有解决方案吗任何假设?
答案 0 :(得分:0)
你等了多久? 给它一个小时,你可能会看到一些东西。
你可能有一个损坏的fileChannel,它需要一些时间来清理它。
什么版本的Flume,顺便说一下?
答案 1 :(得分:0)
尝试向文件中添加更多数据并等待一段时间。日志中有什么有趣的东西吗?
还要确保你的HDFS还有足够的空间。