Flume将数据加载到本地文件系统

Question

我在linux中使用hadoop 2.2。任何人都告诉我如何在flume中使用fileroll。我知道fileroll将数据发送到本地文件系统。任何人都可以告诉我如何???

提前致谢..

Answer 1

要使用文件滚动接收器，只需在flume配置文件中配置接收器。此配置文件示例将从位于目录/logs/source中的假脱机目录源获取数据，通过内存通道将其发送到目录/logs/sink中的文件卷接收器。

您应该在水槽用户指南中查看其他配置选项here

# Define a memory channel called ch1 on agent1
agent1.channels.ch1.type = memory

agent1.sources.spool.type = spooldir
agent1.sources.spool.channels = ch1
agent1.sources.spool.spoolDir = /logs/source
agent1.sources.spool.fileHeader = true

agent1.sinks.fr1.type = file_roll
agent1.sinks.fr1.channel = ch1
agent1.sinks.fr1.sink.directory = /logs/sink

agent1.channels = ch1
agent1.sources = spool
agent1.sinks = fr1