Apache Flume自定义接收器数据冲突

时间:2016-04-27 13:53:15

标签: java json thread-safety flume-ng

我正在尝试创建单源多槽水槽数据流。我们有自定义的udp源码,file_roll接收器,自定义rabbitmqjson接收器。

在自定义Rabbitmqjson接收过程中:

        Event event = getChannel().take();
        if(event==null){
            tx.rollback();
            return Status.BACKOFF;
        }
        Map<String, String> eventMap = getMap(event);
        event.setBody(toJson(eventMap).getBytes("UTF-8"));

使用标题将事件体更改为json并使其工作正常.RabbitMQ将所有数据作为json获取。但是,有时file_roll sink也将数据存储为json。

当数据流速度很快时,自定义接收器事件如何进入具有不同通道的非自定义接收器?也许java线程问题?

0 个答案:

没有答案