SSIS：“增量”导入？

Question

我必须实现一个加载三个不同数据库的流程，转换数据并将其结果加载到新的SQL数据库中。

我想到了SSIS（SQL服务器的集成服务）。这对我来说是完美的，但是：这个过程将在每个晚上6-8个月运行。它只需导入更改。

我不知道我是否可以用SSIS做到这一点？

要导入大量数据，因此我们希望这些数据以递增方式更新（基于源数据库中的“ModifiedAt”列）。

所以：

1. 这可能（增量导入），怎么样？
2. 如果是：每天安排它的最佳方式是什么？
3. 如果不是：你能看到另一种方法，我不需要从头开始编程吗？

Answer 1

是的，@ andyLeonard有一个名为Stairway to Integration Services的优秀系列，我经常在答案中引用这一系列文章，因为它更简洁，然后尝试在单个答案中将SSIS标记的累积智慧串起来。在该系列文章中，Andy将向您介绍增量加载模式的各种内容。我认为这将为您提供有关如何构建导入的明确说明。

您可以使用您的组织当前使用的任何计划工具来安排SSIS包。

• SQL Agent - SQL Server的内置调度工具是组织的常用选项。您的DBA已经在使用它来处理诸如索引重建/重组等事情的调度的可能性很大。使用Agent的一个优点是，对于初学者来说，它有一个仅为运行SSIS包而构建的步骤。并不是说发布一个SSIS软件包并不是那么复杂，但每一点都有帮助。

• Windows调度程序 - Windows内置了一个可维护的调度程序（名称可以包括我，at可能？）。如果你正在使用这种方法，我可能建议你制作一个简单的批处理脚本来启动包，这样你就可以确保手动启动包与调度程序的运行方式相同。

• Tidal我在哪里，我们使用Tidal来处理我们的所有工作安排。它并不便宜，但在我们试图协调跨大型机，unix和windows环境的活动的环境中，它是蜜蜂的膝盖。界面是一个令人难以置信的java东西，我很想看到它在火中死了几次，但不要让它分散你对工具能力的注意力。