从C计划向Flume提供活动

时间:2015-11-12 14:31:55

标签: c++ c thrift flume flume-ng

我正在寻找一种方法,以有效的方式将C程序生成的事件提供给Apache Flume。

在C程序中,事件是struct个实例,可以序列化为Avro记录等。但是,Avro C库缺乏RPC支持,因此C程序无法直接连接到Flume代理中的Avro Source。

目前的解决方案是将事件格式化为CSV并将它们提供给Flume中的netcat源,但文本格式化需要CPU(事件有很多数字字段)。

将二进制数据提供给Flume的快速解决方案是什么?

Flume中是否有任何等效的netcat源允许二进制记录?

也许Flume中的Thrift源是解决方案,但之前使用Apache Thrift的经验表明性能有点令人沮丧。

0 个答案:

没有答案