Question

我有一个csv文件，我需要处理大约100K条目并插入到数据库中。

以前它非常慢，因为它为每个条目进行SQL调用。我这样做是因为如果我尝试构建一个单一查询来执行此操作，我将耗尽内存。

我迁移到新服务器，现在每次运行时都会出错：

SQL错误：2006 MySQL服务器已经消失

我不确定，但认为这只是发生，因为我的代码效率低下。

我该怎么做才能让它表现更好而不会出错？

以下是代码：

//empty table before saving new feed
$model->query('TRUNCATE TABLE diamonds');

$fp = fopen($this->file,'r');

while (!feof($fp)) 
{
    $diamond = fgetcsv($fp);

    //skip the first line
    if(!empty($firstline))
    {
        $firstline = true;
        continue;   
    }

    if(empty($diamond[17]))
    {
        //no price -- skip it
        continue;
    }

    $data = array(
        'seller'             => $diamond[0],                             
        'rapnet_seller_code' => $diamond[1],                         
        'shape'              => $diamond[2],
        'carat'              => $diamond[3],
        'color'              => $diamond[4],
        'fancy_color'        => $diamond[5],
        'fancy_intensity'    => $diamond[6],
        'clarity'            => empty($diamond[8]) ? 'I1' : $diamond[8],
        'cut'                => empty($diamond[9]) ? 'Fair' : $diamond[9],
        'stock_num'          => $diamond[16],
        'rapnet_price'       => $diamond[17],
        'rapnet_discount'    => empty($diamond[18]) ? 0 : $diamond[18],
        'cert'               => $diamond[14],
        'city'               => $diamond[26],
        'state'              => $diamond[27],
        'cert_image'         => $diamond[30],
        'rapnet_lot'         => $diamond[31]
    );

    $measurements = $diamond[13];
    $measurements = strtolower($measurements);
    $measurements = str_replace('x','-',$measurements);
    $mm = explode('-',$measurements);

    $data['mm_width'] = empty($mm[0]) ? 0 : $mm[0];
    $data['mm_length'] = empty($mm[1]) ? 0 : $mm[1];
    $data['mm_depth'] = empty($mm[2]) ? 0 : $mm[2];

    //create a new entry and save the data to it.
    $model->create();
    $model->save($data);

}
fclose($fp);

Answer 1

您可能超过了MySQL的max_allowed_packet设置，该设置设置了查询字符串可以存在多长时间的硬限制（以字节为单位）。进行多值插入没有任何问题，但其中100k绝对是推动事物。

不要一次完成所有100k，而是尝试循环播放1000。你仍然在减少总查询次数（从100k减少到1000只），所以它仍然是一个净收益。

更有效的方法来处理100K条目的数据馈送？

1 个答案: