通过API导入大数据

Question

我正在尝试开发一个系统，我将通过提供的API将我的数据库与3方数据库同步。 API具有我们可以提供From-Date和To-Date

的格式

问题

1. 没有API只给我修改过的记录。
2. 数据太大（平均每天1000条记录）
3. 需要一个调度程序，以便所有记录自动更新
4. 我还需要跟踪已修改的记录（这是最大的问题，因为我无法通过修改日期获取它们）

注意：按照之前的要求，我已经开发了一个系统，我可以在其中指定记录的日期和日期更新（使用GUI完成，没有ajax使用）。即使我要求1天的记录，系统也会出现超时错误。

注意2：我真的不应该说，但客户端太严格（DUMB）;（他只需要解决方案，别的什么都不会做

Answer 1

假设数据不需要是＆＃34;新鲜＆＃34;难道你不能写一个进程来每小时/每晚运行那些数据并将其处理到你的数据库中吗？

显然，这只有在您确定以前的记录未更新时才有效吗？

API是否提供批次？

为什么选择使用Ajax的Web客户端来处理这些数据？ Windows /控制台应用程序会更适合吗？

Answer 2

如果数据太大而无法通过任何给定的查询进行检索，那么您只需通过ID进行检索即可。找出一个好的大小（100条记录？250？），然后按该大小的组旋转遍历系统中的每条记录。

你没有说你是在拉下数据，推高数据，还是两者兼而有之。如果你只是把它拉下来，那么这是你能做的最好的，随着更多记录的增加，它会越来越慢。如果您只是推动它，那么您可以跟踪“推送日期”。如果是两者，你如何解决冲突？