我们有一个使用SQL Server的应用程序，需要定期刷新源系统的数据。源系统中有数百万条记录，我们每隔30分钟刷新一次。我们目前正在使用openquery和游标来导入数据并保持新鲜。然而，这种方法似乎耗时且不太可靠。
有没有人知道我们可以使用的其他选项？
此外，对于某些源表，还有像上次修改日期时间等的钩子...我们可以用它来获取自上次修改以来的较小数据块。但它并不是非常可靠，因为该字段似乎每次都不会更新，并且所有表格都不是这样。所以，处理那些没有这种钩子的人真的很痛苦。
您认为我们可以使用Hadoop，MapReduce等大数据解决方案吗？我对这些的印象是它们在存储和获取遗留数据和/或获取更大的数据时非常有用，就像处理文件一样。不确定他们如何在导入表格数据时发挥作用。
非常感谢任何建议。