我们有10台服务器。一些航班相关的数据将来到服务器。从服务器到数据将来到我们的应用程序。同样的数据可以多次来到我们的应用程序，但最后我只需要保存这些数据一旦进入数据库。所以我们在插入数据之前检查数据库。如果数据库中已经不存在该记录，那么我们只会保存数据。但由于某种原因，我们在数据库中获得重复记录。
在这种情况下是否需要使用同步。
这可能是什么问题。提前谢谢......
答案 0 :(得分：0)
在我们公司，处理同一条信息的多个数据源的方式是利用批次。 我们发现在代码级别（java和.NET）执行此操作时，我们会投入大量的devop时间并且仍然有重复。
通过实施批处理过程，我们将所有内容存储在本地并使用2个批处理作业进行处理。 1st将确保数据质量并消除重复 第二个将压缩并将数据推送到我们的持久性服务（我们使用XCOM直接进入db队列然后插入数据）。
如果你可以实现类似的东西，因为你有一个中心入口点，你可以在其上实现适当的质量门。
希望我们的例子有所帮助，如果不是让我知道很高兴删除它。 ：）