数据库性能:合并来自不同来源的数据

时间:2018-08-03 13:03:37

标签: mysql database nosql

目前,我正在处理一个提要处理应用程序,它将来自10多个不同来源的产品数据组合到一个模型中(由sku匹配)并将其写入数据库。通过组合这些数据,还涉及一些业务规则(例如数据源优先级)。在应用以下策略的同时,我一直在使用MySQL进行这项工作:

  1. 将所有单个产品保存到“单个产品”表中
  2. 查询所有不同的SKU
  3. 对于每个不同的sku,查询具有该SKU的所有产品
  4. 根据业务规则合并数据
  5. 将此组合产品模型写入“组合产品”表

但是,对于大量(200.000)唯一的SKU,事实证明该过程很慢。由于我不是数据库专家,因此我在这里寻求建议。 一种想法是迁移到NoSQL数据库。这样可以更轻松地直接进行合并并存储到如下所示的对象中:

{
   [sku] : {
        [source1]: {
            ...productDataSource1
        },
        [source2]: {
            ...productDataSource1
        }
   }
}

但这不会将事情与具有正确业务规则的单个模型结合在一起。

有人知道如何最好地解决这个问题吗?

0 个答案:

没有答案