查询大型数据集时,Pentaho会发出意外的流结束

时间:2016-01-25 20:10:25

标签: pentaho etl mariadb

我有一个Pentaho变换,它使用表输入步骤读取数百万行数据。运行几百万就可以了。当我达到大约1500万时,我得到了超出y字节的Unexpected End of Stream Exception x。当发生这种情况时,我有几个其他表输入将流式查找工作正常。我的主流输入没有行。我的数据库是mariadb,我的超时设置为8小时(不要问:/)。有没有人遇到类似的东西?

当我有大范围时,我的查询没有在我的日期范围内使用索引。我强迫这个索引仍然有同样的问题。在我的进程列表中,查询停留在“写入网络”。

1 个答案:

答案 0 :(得分:0)

问题在于我的MariaDB连接器。我将其更改为MySQL连接器,它运行良好。