将数据从第三方数据库转换为本地数据库的最佳方法

时间:2017-06-06 20:18:46

标签: xml tsql xslt ssis etl

我继承了一个数据库,该数据库将数据从Oracle数据库中提取到SQL Sever 2012中的临时表中。然后数据通过3或4个不同的存储过程,每个存储过程数百行,将数据转换为最终生产表

虽然这似乎有效但似乎效率低下。我是ETL方面的新手,我想知道是否有更好的解决方案。

在SSIS中使用这些相同的查询会更有效吗? 在SSIS中使用XML / XSLT会比这更有效吗?

这些解决方案是否确实提供了足够的元数据,说明发生了什么以及何时发生错误?

像BizTalk这样的东西(我没有经验)是一个更好的解决方案吗?

我认识到这可能是一个非常值得商榷的话题。我的主要目标是提高变换的速度,维持甚至提高变换的准确性,并增加变换的记录,因此如果出现问题,更容易找到发生的事情。

我非常感谢任何正确方向的建议或指导!

1 个答案:

答案 0 :(得分:0)

当您必须处理大量数据加载和转换时,SSIS是最好的选择。但是,例如,决定选择哪种解决方案会有很多因素 1.数据量。 2.此过程的运行频率。 3.变换的复杂性。 4.在效率和响应性等方面进行权衡。

BizTalk的核心是消息代理,受雇于integrate and manage automated business processes by exchanging business documents!它不能替代ETL

您可能还想尝试调整现有流程,寻找优化任何步骤的瓶颈和范围。