在Talend中处理巨大数据集的速度很慢

Question

我使用tMSSqlSP从SQL Server存储过程中提取数据，该数据以RECORD SET格式返回结果。在此之后，我正在解析记录集并使用tMap，然后使用tOracleOutput将记录插入到Oracle表中。

处理速度非常慢（每秒30条记录）。

SQL Server存储过程返回500k记录，这个缓慢的处理需要很长时间才能完成。

是否有人知道在Oracle方面加快插入的过程？

Answer 1

也许您必须在oracle中使用批量插入：tOracleOutputBulk组件。 配置起来比较复杂，但如果你在一张没有交易的表格中插入，它就是一个强大的解决方案。