将水槽与另一个水槽连接

时间:2017-06-27 22:11:43

标签: flume

为新手问题道歉,但我有一个有点古怪的Flume问题。

方案

  1. 我有Sink A,它抓取数据,执行过滤,然后将成功的数据发送到某个HTTP服务。
  2. 我现在想将所有成功处理的数据记录到Hive。
  3. 在Flume中有没有办法在水槽中抓取数据,然后将其放回Flume中以便被另一个水槽拾取?

    理想情况下,我想编写一个将此数据写入Hive的接收器。

1 个答案:

答案 0 :(得分:0)

回答我自己的问题:

  

在Flume中有没有办法在水槽中抓取数据,然后将其放回Flume中以便被另一个水槽拾取?

不 - 不是我发现的。

  

理想情况下,我想编写一个将此数据写入Hive的接收器。

我最终将这些数据传递给kafka主题,然后由我必须编写的新Flume代理读取。