Question

我有一个Flume整合器，可以在AWS上的S3存储桶中写入每个条目。

问题在于目录路径。

这些事件应该写在/ flume / events /％y-％m-％d /％H％M上，但它们在//水槽/事件/％y-％m-％d / ％H％M

似乎Flume在开头添加了一个“/”。

对此问题的任何想法？这是我的路径配置的问题吗？

master.sources = source1
master.sinks = sink1
master.channels = channel1

master.sources.source1.type = netcat
# master.sources.source1.type = avro
master.sources.source1.bind = 0.0.0.0
master.sources.source1.port = 4555

master.sources.source1.interceptors = inter1
master.sources.source1.interceptors.inter1.type = timestamp

master.sinks.sink1.type = hdfs
master.sinks.sink1.hdfs.path = s3://KEY:SECRET@BUCKET/flume/events/%y-%m-%d/%H%M
master.sinks.sink1.hdfs.filePrefix = event
master.sinks.sink1.hdfs.round = true
master.sinks.sink1.hdfs.roundValue = 5
master.sinks.sink1.hdfs.roundUnit = minute

master.channels.channel1.type = memory
master.channels.channel1.capacity = 1000
master.channels.channel1.transactionCapactiy = 100

master.sources.source1.channels = channel1
master.sinks.sink1.channel = channel1

Answer 1

Flume NG HDFS接收器没有为S3支持实现任何特殊功能。 Hadoop对S3有一些内置的支持，但我不知道有没有人积极致力于它。从我所听到的情况来看，它有点过时，可能会在失败时出现一些耐久性问题。

那就是说，我知道有人使用它，因为它“足够好”。

你是说“// xyz”（带有多个相邻的斜杠）是S3上的有效路径名吗？你可能知道，大多数Unix都会破坏相邻的斜杠。

Flume HDFS接收器出现S3路径错误

1 个答案: