PHP - 什么是处理大量数据的最佳方式

Question

感谢阅读， 我在magento网站上工作。在我的情况下，我想使用cron将所有产品数据存储在.json文件中。这里有14家商店，每家商店有2000多种商品，商店和商品数量都在增长。 全部算法如下：

foreach available store
[
  define globalArray = array()
  get store products collection
  foreach product
  [
    add product data to globalArray
    add product filterable attributes to globalArray
    ... 
  ]
  save globalArray in json file
] 

问题是所需的内存非常大，我考虑在temp json中保存每个200产品的数据，并在最后加载所有临时json文件并将它们合并到一个大json中。

处理这个问题的最佳方法是什么？我的解决方案好吗？ 提前谢谢

Answer 1

使用magento core / resource_iterator模型。可以在http://www.atwix.com/magento/working-with-large-collections/

找到一个很好的解释

编辑： 使用此配方，您将获得一个很好的关联数组，您可以序列化或jsonify。我猜序列化更快。

我倾向于不问为什么有人想这样做！我不知道你想用任何非sql格式的产品数据实现什么。