Flume依赖关系与HBaseEventSerializer实现冲突

时间:2018-11-30 06:56:38

标签: java protocol-buffers flume flume-ng protobuf-java

背景:

我正在使用以下内容:

  • apache flume版本1.8.0
  • protobuf 3.5版

我在kafka主题中存储序列化的protobuf消息。我想将该数据保存到HBase,因此我选择apache flume作为我们的数据传送机制。我有一个HBaseEventSerializer(自定义事件序列化程序)的实现,可以将数据转换成我在HBase中需要的数据。转换说明的一部分包括使用我们生成的Java绑定反序列化protobuf消息。

例外:

我的水槽日志中出现MethodNotFound异常。堆栈跟踪显示异常是由我的自定义事件序列化程序处理的。

尝试:

我尝试将3.5个protobuf JAR保存到我的flume lib目录中,并将2.5个protobuf JAR的权限级别更改为000,但这会导致flume代理在启动过程中更早地抛出运行时异常。

想法:

我考虑过使用阴影JAR解决问题。

有人解决过类似的JAR HELL水槽问题吗?

0 个答案:

没有答案