在更新HDFS中的数据时，水槽会出错

Question

我需要在不属于HDFS数据节点或名称节点的单独机器中运行水槽，它必须从Kafka读取数据并将其存储在运行在单独群集中的HDFS中。可以吗？我收到与hadoop jar文件相关的错误。

Answer 1

Apache Flume需要Hadoop jar用于 HDFS Sink ，因为您正在从 kafka 读取数据并将其存储回 HDFS 。

请在类路径中添加所有与hadoop相关的jar，然后重新运行它。