Apache Flume的新功能。我需要在HDFS集群环境之上安装水槽。我做谷歌,所有人都说使用cloudera发行版,但我需要从源代码安装和配置。
那么有人可以建议我,从哪里开始以及如何定制水槽代理和接收服务?
答案 0 :(得分:4)
我刚刚在Ubuntu上安装了Apache Flume 1.3。
您需要下载适用于您操作系统的二进制zip,解压缩并创建一个与Java中的属性文件类似的配置文件。
安装和运行代理是一个愚蠢/简单的过程,只需阅读this
答案 1 :(得分:2)
安装步骤
#step1
goto http://flume.apache.org/download.html
#click following link
apache-flume-1.4.0-bin.tar.gz
http://apache.mesi.com.ar/flume/1.4.0/apache-flume-1.4.0-bin.tar.gz
#Download apache-flume by double clicking on the above link
tar -xvzf apache-flume-1.4.0-bin.tar.gz
mv apache-flume-1.4.0-bin.tar.gz flume
chown -R hduser:hadoop flume
#go to flume conf path
../../flume/conf
vi flume-env.sh.template
#mention JAVA Path
#mantion flume Classpath
答案 2 :(得分:1)
这是一个示例教程,我把它放在一起,在流浪的环境中使用水槽,阿帕奇,烧瓶和kibana。
底部有一个视频可以提供更好的介绍:
答案 3 :(得分:0)
大数据大学提供的将数据迁移到Hadoop 课程:http://bigdatauniversity.com/bdu-wp/bdu-course/moving-data-into-hadoop/教授您介绍水槽和实验室练习,它可以帮助您配置和运行水槽。
答案 4 :(得分:0)
对于 CENT 操作系统
*step1 下载
[https://downloads.apache.org/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz][1]
*安装apache水槽 "tar -xvf apache-flume-1.9.0-bin.tar.gz"
*搬家 "mv apache-flume-1.9.0-bin.tar.gz usr/local/flume"
*设置路径 "vim /etc/profile"
"导出 FLUME_HOME=/usr/local/flume 导出路径=$PATH:$FLUME_HOME/bin"
*版本 "flume-ng 版本"
*会议 "usr/local/flume/conf" 在水槽conf.properties 设置你的 hadoop 属性