是否可以将Flume标头写入HDFS接收器并放下机身？

Question

text_with_headers序列化程序（HDFS接收器序列化程序）允许保存Flume事件标头而不是丢弃它们。输出格式包括标题，后跟空格，然后是主体有效负载。我们想放弃身体并仅保留标题。 对于HBase接收器，＆＃34; RegexHbaseEventSerializer＆＃34;允许我们改变事件。但我无法为HDFS接收器找到这样的规定。

Answer 1

您可以将序列化程序属性设置为 header_and_text ，它会输出标题和正文。

例如：

agent.sinks.my-hdfs-sink.type = hdfs
agent.sinks.my-hdfs-sink.hdfs.fileType = DataStream
... 
# very important
agent.sinks.my-hdfs-sink.serializer = header_and_text