我正在使用SSIS开发ETL包。我有一些半复杂的数据转换,验证和字段定义。我可以通过使用一些组件来实现它,例如派生列,条件,数据转换等。我的第二个选择是编写C#脚本并使用语言(C#)功能实现所有复杂性
哪种方法对大数据更有效(使用组件或C#脚本)?
感谢
答案 0 :(得分:3)
开箱即用的组件通常可能比脚本组件中的自定义代码更快,除非您需要一大堆组件来完成可以在简单的C#代码行中完成的事情。
另一件事是使用(部分)阻塞组件(如sort,union,aggregate等)。如果您需要这些,但您也可以在非阻塞脚本组件中执行此操作,那么使用脚本组件会更快...
您应该在软件包的性能和可读性之间找到平衡点。添加C#可能会使非程序员难以维护,但是如果有一些记录良好的C#行可以采用一大堆开箱即用的组件....