使用Kudu客户端

时间:2017-04-20 11:00:15

标签: apache-kudu streamsets

我是Streamsets和Kudu技术的新手,我尝试了几种解决方案来实现我的目标: 我有一个包含一些Avro文件的文件夹,这些文件需要处理,然后发送到Kudu架构。

https://i.stack.imgur.com/l5Yf9.jpg

当使用包含几百条记录的Avro文件时,所有记录都正确,但当记录数增加到16k时,会显示此错误:

Caused by:
org.apache.kudu.client. NonRecoverableException:
MANUAL_FLUSH is enabled but the buffer is too big.

我在Streamsets和Kudu上搜索了所有可用配置,我能够应用的唯一解决方案是编辑Java源代码,删除从默认刷新模式切换到手册的单行一;这是有效的,但它不是最佳解决方案,因为每次我想在新机器上使用它时都需要编辑和编译该文件。

任何人都知道如何避免这种情况发生?

提前致谢!

0 个答案:

没有答案