两个数据库之间的数据同步

Question

我需要在两个数据源之间进行同步：

我在网上运行了一个Web服务。它不断从网络收集数据并将其存储在数据库中。它还根据客户端的请求向客户端提供数据。我想将数据存储库作为对象，以便更快地获得服务。

在客户端，有一个Windows服务调用前面提到的Web服务并将其本地数据库同步到服务器。

我的限制几乎没有：

• Web服务的缓冲区限制非常小，每次调用只能传输少于200条记录，这对于一天收集的数据来说是不够的。
• 我也无法复制数据库文件，因为数据库结构非常不同（sql和其他是访问）
• 数据每小时更新一次，并且需要传输大量数据。
• 尺寸限制无法按日期或其他组同步。可以完成分页，但远程存储库不断变化（我不知道如何从SQL数据库表中间获取大量数据）

如何使用存储库进行最近的数据更新/或完整数据库与此限制同步？

更好地解决问题或改进当前方法将被视为正确的答案

Answer 1

您提到按日期或按组同步将无法正常工作，因为记录数量太大，但是按日期（或组或其他）进行同步然后按分页进行分页呢？好处是您将拥有一组已定义的记录，现在您可以翻页，因为该组不会更改。

例如，如果您需要每小时提取数据，因为每小时过去（因此，从上午8:59到上午9:00），您开始下拉在上午8点到9点之间添加的数据200块大小或服务可以处理的任何大小。