如何通过talend ETL在数据库中加载更多数据

Question

我的6.5 GB数据在我的输入表****（tPostgresqlInput）中包含900000行**，我正在尝试将相同的数据加载到我的输出表（tPostgresqlOutput）中，而在运行作业时我没有得到来自我的输入表的任何响应，是否有任何加载数据的解决方案？请参阅我的附件

Answer 1

您需要开发一种策略来检索更易于管理的数据块，例如根据行ID划分数据。这样，它不需要太多的内存或时间来检索数据。

您还可以将作业的默认内存限制从1 GB增加到更高的数字。

如果您的作业与数据库服务器在同一网络上运行，那么也可以提高性能。

Answer 2

确保在“输入”高级设置上启用“使用光标”。默认的1k值很好。 同时在输出上启用类似的批量大小。

启用此Talend一次可以处理1k条记录。

Answer 3

如果这两个表位于同一个DB中，您可以尝试使用Talend ELT组件 没有压低你对数据库的处理。看看下面的一组组件： https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlInput https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlMap https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlOutput