如何编写自定义flume-ng源来在hdfs sink上创建avro文件？

Question

我试图编写一个可以在hdfs接收器上创建avro文件的CustomSource。但我无法弄明白。

希望看到一些指南或示例。

Answer 1

这将帮助您获取详细信息： https://flume.apache.org/FlumeUserGuide.html

但在高水平上创建自定义水槽来源： 1.更改Flume配置。在这里添加源配置并将其指向MyCustomSource.java 2.在MyCustomSource.java中编写Source逻辑并将jar复制到flume节点并重新启动。