使用FILE通道配置水槽的多个源时,通道锁定错误

时间:2017-02-01 15:48:25

标签: hadoop flume flume-ng

使用FILE通道为代理配置多个源,从而导致锁定错误。下面是我的配置文件。

DateTimeOffset

我收到以下错误

string

但是当我使用内存频道时。工作正常。

2 个答案:

答案 0 :(得分:1)

我的意思是你需要为每个频道指定不同的dataDirs属性,因为它们都使用默认值

答案 1 :(得分:1)

来自docs

  

默认情况下,文件通道使用检查点和数据的路径   上面指定的用户主目录内的目录。作为一个   如果您有多个活动的文件通道实例,则会得到结果   代理,只有一个能够锁定目录并导致   其他通道初始化失败。因此有必要   您最好提供所有已配置通道的显式路径   在不同的磁盘上。

频道的配置应为

#channels
a1.channels.c1.type=file
a1.channels.c1.checkpointDir=/home/cloudera/alpha/001
a1.channels.c1.dataDirs=/mnt/alpha_data/

a1.channels.c3.type=file
a1.channels.c3.checkpointDir=/home/cloudera/beta/001
a1.channels.c3.dataDirs=/mnt/beta_data/

dataDirs属性默认为/home/user/.flume/file-channel/data路径。