将数据从多个数据库复制到单个数据库

Question

我们的ERP客户拥有一个架构，客户可以在这里拥有多个数据库，每个数据库都运行在不同的位置。客户有一个总部数据库，来自不同数据库的数据在运行的基础上累积。我们有一个基于文件的数据库目前，我们以特定格式为所有数据库更改创建文件，然后在运行的基础上将文件上传到总部位置。总部有一个程序一直在运行。一旦文件上传到HO FTP和总部exe捕获它。它下载它并根据接收数据的位置ID更新总部数据库。 这种方法在过去10到12年间一直运作良好，但现在我们已经开始面临问题。由于每个客户的位置数量增加了100多个，每天的数据流量超过4-5个lacs。

问题在于Headoffice exe和databaseupdation，因为文件数量和要更新/插入的数据量太多。 我一直在为这个功能问题寻找合适且可扩展的解决方案。 可能是复制或其他一些方法可以帮助。

感谢帮助和建议。

Answer 1

您可以使用SymmetricDS来同步数据库并整合总部的数据。它是一个开源复制服务器，可捕获更改并通过基于Web的协议定期将其发送到目标数据库。它被设计为即使在带宽较低时也可以工作，并且如果网络不稳定则可以自动恢复。可以转换和丰富数据，因此您可以动态添加位置ID以识别数据的客户。它被部署到生产中以同步大量（数千个）数据库，因此大量工作已经用于可扩展性。项目开发还由一家商业公司JumpMind赞助，该公司对其长期成功感兴趣，并为其提供商业产品和支持。