我正在为Apache Flume做原型。我的任务是在我使用VirtualBox设置的两个Ubuntu VM之间传输文本文件内容。我几乎不知道Flume,虽然我一直在阅读他们的文档。
使用VirtualBox,我能够创建一个内部网络,两个虚拟机成功地相互ping通。
我还能够下载和配置水槽,如下所示:https://cwiki.apache.org/confluence/display/FLUME/Getting+Started
我的观点是Flume已安装并可在两个虚拟机上运行(或者我认为)。
这篇文章给了我一个小小的想法:Flume: Data transferring to Server a
那么,我是否真的在每个VM上实现了flume.conf文件?我需要编写Java才能做到这一点吗?
另外,我发现这个视频,大约18分钟,这家伙几乎完全符合我的要求。但是,我希望输入是一个文本文件。
那么,你能告诉我一步一步(我是初学者)我会怎么做呢?或者指出任何有用的教程。
谢谢!
答案 0 :(得分:0)
我使用sink类型作为file_roll解决了这个问题。我还必须识别第二个VM的IP,以便两者可以连接。
我在此链接中找到了有关如何执行此操作的分步说明:http://thisandthat.io/blog/flume-part3/
此外,您不需要编写任何Java来执行此操作。但是,正如Flume的标准,请确保在flume-env.sh文件中正确声明您的JAVA_HOME。所有其他部分由创建的.conf文件处理(如上面链接中所述)。