Apache Flume程序/设置,用于在两个Ubuntu VM之间传输文本文件内容

时间:2017-05-18 15:03:41

标签: ubuntu server flume flume-ng

我正在为Apache Flume做原型。我的任务是在我使用VirtualBox设置的两个Ubuntu VM之间传输文本文件内容。我几乎不知道Flume,虽然我一直在阅读他们的文档。

使用VirtualBox,我能够创建一个内部网络,两个虚拟机成功地相互ping通。

我还能够下载和配置水槽,如下所示:https://cwiki.apache.org/confluence/display/FLUME/Getting+Started

我的观点是Flume已安装并可在两个虚拟机上运行(或者我认为)。

这篇文章给了我一个小小的想法:Flume: Data transferring to Server a

那么,我是否真的在每个VM上实现了flume.conf文件?我需要编写Java才能做到这一点吗?

另外,我发现这个视频,大约18分钟,这家伙几乎完全符合我的要求。但是,我希望输入是一个文本文件。

那么,你能告诉我一步一步(我是初学者)我会怎么做呢?或者指出任何有用的教程。

谢谢!

1 个答案:

答案 0 :(得分:0)

我使用sink类型作为file_roll解决了这个问题。我还必须识别第二个VM的IP,以便两者可以连接。

我在此链接中找到了有关如何执行此操作的分步说明:http://thisandthat.io/blog/flume-part3/

此外,您不需要编写任何Java来执行此操作。但是,正如Flume的标准,请确保在flume-env.sh文件中正确声明您的JAVA_HOME。所有其他部分由创建的.conf文件处理(如上面链接中所述)。