是否可以将flume sink配置为我的代理的文件系统。我是否需要沉入hdfs或hadoop？
我正在使用flume 1.6.0和kafka 10.1.1
如果你问我，我会告诉你我的水槽配置和水槽命令行args但是我可能会做一些不应该做的事情。
我试图在没有安装hadoop或hdfs的情况下在kafka方面进行一些概念验证
我看到了roll_file的配置，但是在这些版本中这样的概念只适用于hdfs？
答案 0 :(得分：2)
File Roll Sink说
在本地文件系统
上存储事件
但是，我建议不要使用Flume，因为它需要您安装额外的Hadoop库。
Kafka Connect是一个原生的Kafka库，您可以使用文件（或HDFS）。
答案 1 :(得分：0)
如果你想使用水槽，你必须从ambari或cloudera经理那里创建一个水槽代理。你必须使用hdfs从kafka中下载数据。 来源将是kafka主题 频道可以是mem 接收HDFS