接受多个外部数据馈送的最佳方法

Question

我正处于我正在进行的项目中。它是在php中创建的照明分销商的分类网站。我想接受来自每个经销商的csv数据馈送，并且每周导入大约3次数据。我还想将数据馈送托管在分销商网站上，然后我将数据从分销商提供的外部链接导入到分类网站mysql数据库。

从多个分销商导入多个数据Feed的最佳方法是什么？对不起，我发布了这个问题，但我很绝望。我在网上搜索答案但是空了。

最好是创建一个调用脚本来导入每个Feed的cron作业吗？显然，我会有一个测试数据库，首先首先测试每个数据馈送，以确保csv文件中的所有数据都是正确的位置。

每次导入数据时，是否必须使用测试数据库？如果由于某种原因分销商更改了Feed，那么防止某些事情发生在我的数据库中的最佳方法是什么？

任何信息都将不胜感激。提前感谢您的帮助。

Answer 1

欢迎来到ETL的精彩世界。虽然这个问题对于SO来说有点过于宽泛，但我会如何处理它（从高层次开始）：

1. 创建脚本以将CSV导入本地文件系统
2. 将数据从本地文件系统导入数据库中的“Stage”表
3. 检查您要检查的内容（加载时没有错误，舞台表看起来是否正确等）
4. 假设所有内容都从舞台表中检出，删除并重新加载（或插入或等等）到实时表中。考虑向您的实时表添加一个新字段，该字段包含上次为该记录加载数据时的时间戳
5. 考虑在本地系统上存档平面文件以保存
6. 创建一个cron作业来运行执行上述步骤的脚本。