Question

我正在尝试使用local将一些日志文件从HDFS复制到flume-ng。 source为/home/cloudera/flume/weblogs/，sink为hdfs://localhost:8020/flume/dump/。 cron作业会将日志从tomcat服务器复制到/home/cloudera/flume/weblogs/，我希望将文件记录到HDFS，因为文件在/home/cloudera/flume/weblogs/中使用flume-ng可用。以下是我创建的配置文件：

agent1.sources= local
agent1.channels= MemChannel
agent1.sinks=HDFS

agent1.sources.local.type = ???
agent1.sources.local.channels=MemChannel

agent1.sinks.HDFS.channel=MemChannel
agent1.sinks.HDFS.type=hdfs
agent1.sinks.HDFS.hdfs.path=hdfs://localhost:8020/flume/dump/
agent1.sinks.HDFS.hdfs.fileType=DataStream
agent1.sinks.HDFS.hdfs.writeformat=Text
agent1.sinks.HDFS.hdfs.batchSize=1000
agent1.sinks.HDFS.hdfs.rollSize=0
agent1.sinks.HDFS.hdfs.rollCount=10000
agent1.sinks.HDFS.hdfs.rollInterval=600
agent1.channels.MemChannel.type=memory
agent1.channels.MemChannel.capacity=10000
agent1.channels.MemChannel.transactionCapacity=100

我无法理解：

1）agent1.sources.local.type = ???的价值是多少？ 2）在上面的conf文件中提到source路径/home/cloudera/flume/weblogs/的位置？ 3）上述conf文件中是否有任何遗漏？

请告诉我这些。

Answer 1

您可以使用：

Exec Source 并使用命令（即gnu / linux上的cat或tail文件）

或Spooling Directory Source ，用于读取目录中的所有文件

Flume-ng：将日志文件从本地复制到HDFS的源路径和类型

1 个答案: