如何捕获Apache flume正在传输的数据的元数据信息

Question

我曾尝试捕获Apache Flume元数据信息，但我没有看到它记录此信息的位置。

如果我需要进行任何预先配置以捕获Flume元数据信息，请告诉我。

提前致谢。

Answer 1

Flume组件在标准Flume日志（/ var / log / flume-ng）中记录一些此类元信息。

例如，HDFS sink在滚动时记录文件的路径：

19 апр 2013 13:00:07,063 INFO  [hdfs-hdfs_sink-roll-timer-0] (org.apache.flume.sink.hdfs.BucketWriter.renameBucket:379)  - Renaming hdfs://localhost/path/to/data/2013/04/19/12/data.1366358400751.tmp to hdfs://localhost/path/to/data/2013/04/19/12/data.1366358400751

Avro source记录每个收到的事件批处理：

19 апр 2013 13:00:07,175 DEBUG [New I/O server worker #1-31] (org.apache.flume.source.AvroSource.appendBatch:222)  - Avro source avro_source: Received avro event batch of 100 events.

此外，Flume还有监控功能，可以向外部系统（如Ganglia）报告一些指标，例如已处理消息的总数，通道大小等。请查看http://flume.apache.org/FlumeUserGuide.html#monitoring。