talend性能 - 在tOracleInput和tOutputfFile之间使用tMap但没有转换逻辑

时间:2017-08-02 07:50:39

标签: talend

我的流程是:

tOracleInput -> tMap -> tOutputFile

目前,我将tMap放在两者之间,我将来需要对这些字段进行一些转换。目前,这些领域没有逻辑,它只是一个传递组件。我想知道这是否会对性能或大型数据集产生影响?我是否应该完全删除它,因为它不用于转换,或者它可以保留原样吗?

感谢能够在这个问题上给我启发的任何人。

1 个答案:

答案 0 :(得分:0)

如果您正在使用ETL组件,通常会下载整个数据集,然后在作业运行的计算机上处​​理并重新上载到指定的服务器。这使用了大量的资源。

如果数据集位于同一数据库中,您可能需要查看将处理转移到数据库的ELT组件。你仍然可以做一些处理。