在Apache NiFi中从Greenplum表中提取约6亿个数据使GC开销超出限制

Question

我正在尝试使用Apache NiFi-QueryDatabaseTableRecord从Greenplum表中获取数据。我看到GC超出上限限制错误，并且NiFi网页无响应。

我已将“提取大小”属性设置为10000，但在这种情况下似乎未使用该属性。

其他设置：

• 数据库类型：通用
• 每个流文件的最大行数：1000000
• 输出批次大小：2
• jvm最小/最大内存分配为4g / 8g

是否有其他方法可以避免此任务发生GC错误？

Answer 1

这很明显是未使用“提取大小”（Fetch Size）参数的情况，请参阅处理器信息。   尝试单独测试jdbc setFetchsize，以查看其是否有效。