Question

我有一个Magento商店的客户。他们正在创建一个txt文件上传到googlebase，其中包含所有产品，但由于产品数量（20k），脚本一旦占用约1gb就会爆炸。它是通过cron运行的。

有没有办法压缩或分段数组，或者在创建文件时将其写入文件，而不是创建数组然后编写它？

<?php
define('SAVE_FEED_LOCATION','/home/public_html/export/googlebase/google_base_feed_cron.txt');



set_time_limit(0);

require_once '/home/public_html/app/Mage.php';
    Mage::app('default');

try{
    $handle = fopen(SAVE_FEED_LOCATION, 'w');


    $heading = array('id','title','description','link','image_link','price','product_type','condition','c:product_code');
    $feed_line=implode("\t", $heading)."\r\n";
    fwrite($handle, $feed_line);

    $products = Mage::getModel('catalog/product')->getCollection();
    $products->addAttributeToFilter('status', 1);//enabled
    $products->addAttributeToFilter('visibility', 4);//catalog, search
    $products->addAttributeToFilter('type_id', 'simple');//simple only (until fix is made)
    $products->addAttributeToSelect('*');
    $prodIds=$products->getAllIds();

    foreach($prodIds as $productId) {

        $product = Mage::getModel('catalog/product'); 

        $product->load($productId);

        $product_data = array();
        $product_data['sku']=$product->getSku();
        $product_data['title']=$product->getName();
        $product_data['description']=$product->getShortDescription();
        $product_data['link']=$product->getProductUrl(). '?source=googleps';
        $product_data['image_link']=Mage::getBaseUrl(Mage_Core_Model_Store::URL_TYPE_MEDIA).'catalog/product'.$product->getImage();

        // Get price of item
if($product->getSpecialPrice())
            $product_data['price']=$product->getSpecialPrice();
        else
   $product_data['price']=$product->getPrice();


        $product_data['product_type']='';
        $product_data['condition']='new';
        $product_data['c:product_code']=$product_data['sku'];


        foreach($product->getCategoryIds() as $_categoryId){
            $category = Mage::getModel('catalog/category')->load($_categoryId);
            $product_data['product_type'].=$category->getName().', ';
        }
        $product_data['product_type']=rtrim($product_data['product_type'],', ');



        //sanitize data
        foreach($product_data as $k=>$val){
        $bad=array('"',"\r\n","\n","\r","\t");
        $good=array(""," "," "," ","");
        $product_data[$k] = '"'.str_replace($bad,$good,$val).'"';
        }


        $feed_line = implode("\t", $product_data)."\r\n";
        fwrite($handle, $feed_line);
        fflush($handle);
    }

    //---------------------- WRITE THE FEED
    fclose($handle);

}
catch(Exception $e){
    die($e->getMessage());
}

＆GT;

Answer 1

我在这里有两个快速答案：

1）尝试增加php允许的最大内存大小（对于命令行，因为它是一个cron脚本）

2）高级开发人员解决类似问题的方式，我目前的工作方式如下：

创建一个名为googlebase_uploaded的日期字段属性，并使用const MAX_PRODUCTS_TO_WRITE等命令运行cron脚本。然后附加到文件并标记附加的每个产品。

我想说的是将执行时间分成较慢的块，这些块不会破坏脚本。

不幸的是，这是我缺少java和c＃

的地方

在PHP中将非常大的数组写入文件

1 个答案: