Question

如何在两个目录之间使用水槽进行数据流传输？

> dat
    time output
1 421.95      0
2 362.91      0
3 327.98      0
4 253.98      1
5 254.28      1
6 253.97      1
7 253.98      1
8   3.22      0
9   0.00      0

#source

spool_dir.sources = src-1
spool_dir.channels = channel-1
spool_dir.sinks = sink-1

#sink

spool_dir.sources.src-1.type = spooldir
spool_dir.sources.src-1.channels = channel-1
spool_dir.sources.src-1.spoolDir = /usr/lib/flume/source

＃将源和接收器绑定到通道

spool_dir.sinks.sink-1.type = spooldir
spool_dir.sinks.sink-1.channels = channel-1
spool_dir.sinks.sink-1.spoolDir = /usr/lib/flume/sink

Answer 1

我理解你的问题是你要监视进入一个文件夹的文件并将它们复制到另一个文件夹中，如果是这样的情况那么你的源代码看起来不错，但是对于接收器使用file_Roll而不是spool dir。

Set-Annotation -entity vm2 -CustomAttribute "Owner" -Value "bob"

基本上在Flume Source和Sink是不同的接口，所以你必须选择spool作为源我说要监视特定目录，但后来我想使用其中一个接收器写入文件或hdfs，所以没有假脱机沉没而是有file_roll接收器，它可能或可能不适合你。但是选择其中一个水槽作为目标http://flume.apache.org/FlumeUserGuide.html#flume-sinks

如何在两个目录/位置之间使用水槽进行数据流传输？

1 个答案: