我正在寻找一种方法,以有效的方式将C程序生成的事件提供给Apache Flume。
在C程序中,事件是struct
个实例,可以序列化为Avro记录等。但是,Avro C库缺乏RPC支持,因此C程序无法直接连接到Flume代理中的Avro Source。
目前的解决方案是将事件格式化为CSV并将它们提供给Flume中的netcat源,但文本格式化需要CPU(事件有很多数字字段)。
将二进制数据提供给Flume的快速解决方案是什么?
Flume中是否有任何等效的netcat源允许二进制记录?
也许Flume中的Thrift源是解决方案,但之前使用Apache Thrift的经验表明性能有点令人沮丧。