我有一个包含65000条记录的csv文件,我需要将其导入到我的数据库中。
我尝试过以下代码但速度很慢。
无论如何,我可以更快地做到这一点。
@set_time_limit(1200);
$file = './csvFiles/aw_Products.csv';
$handle = fopen( $file , 'r');
while (($row = fgetcsv($handle)) !== false) {
if( is_integer($row[0]) || $row[0] != 0 )
{
$product = new Product();
$product->merchant_id = $row[0];
$product->merc_product_id = $row[1];
$product->product_id = $row[2];
$product->product_name = $row[3];
$product->product_desc = htmlentities($row[4]);
//$product->keywords = htmlentities($row[6]);
$product->category_id = $row[5];
$product->link_url = $row[6];
$product->image_url = $row[7];
$product->price = $row[8];
$product->delivery_cost = $row[9];
//$product->deliveryAvailable = $row[12];
//$product->deliveryDetails = $row[13];
//$product->valid_to = $row[14];
//$product->valid_from = ($row[3] == 'yes') ? 1 : 0;
if( Product::find_by_id( $row[0] ) )
$product->updateRecord();
else
$product->createRecord();
}
sleep (1);
}
fclose($handle);
答案 0 :(得分:2)
sleep()
可能是罪魁祸首。但我也想知道这个:Product::find_by_id()
因为它可能正在为每个INSERT执行SELECT查询。您可以考虑制作单个SELECT查询以将所有现有数据库密钥都放入PHP数组中,然后可以使用* in_array()*来检查是更新还是插入。可能不言而喻,但如果你插入,你会想要添加到PHP数组。
答案 1 :(得分:1)
放弃sleep()并使用预准备语句进行mysql插入/更新。