注意:我的问题在最后一段。
我有多个文件源插入数据库(称之为进程/数据库A)。这些文件包含相同类型的信息,但格式不同(即不同的列标题,订单,列数等),但是当进程A将它们放入统一表时,它很好而且整洁。我需要来自多个源的数据也插入另一个数据库(进程/数据库B),但我不确定这样做的最佳方法是什么。 DB B是我们使用的软件的一部分。它不是开源的,但可以建立数据库连接。
我们已经启动并运行了一段时间。流程B是改善仓库物理工作流程的新方法。我认为,由于数据已在流程A中统一,在我看来,我应该提取这些统一数据并将其插入到B.这将为我节省重复过程B的所有内容的重复工作。
我的问题是,如果我想“同步”这两个数据库,那么最佳方法是什么?我想这并不完全是“同步”,因为两个表(只需要在每个DB上引用一个表)具有不同的列。我看到了这些方法..
检查整个DB并从DB A拉出以插入DB B以获取新数据。但是,DB B有超过50K行。 DB A更小,增长缓慢。
让用户输入一个日期,从中查找要从A到B插入的新数据行。
检查DB B中的最新日期(数据行已过时),并相应插入。
你们有什么投入吗?我不太熟悉MySQL的处理速度,所以我不确定方法1是不是很好。我也不确定这些类型的任务有哪些约定(如果有的话)。我想这不是一件非常罕见的事情。但是(1)似乎是一种更完整的做事方式。任何评论或替代选项表示赞赏。我想保留PHP中的内容,因为它将成为Web应用程序的一项功能。 TIA!