Question

我必须一次性插入超过200000条记录，进入mysql db表，插入查询导致性能问题，可能是替代它。

以下是我正在使用的代码

$xml = simplexml_load_file("247electrical.xml");

foreach($xml->merchant as $merchant){

define('API', 'PS');
require_once('constants.inc.php');
require_once('classes/class.ClientFactory.php');
$oClient = ClientFactory::getClient(API_USERNAME, API_PASSWORD, API_USER_TYPE); $merchattrs=$merchant->attributes();
$aParams100 = array('iMerchantId' => array($merchattrs->id)); $merchantinfo= $oClient->call('getMerchant', $aParams100);

//Get Products

foreach($xml->merchant->prod as $product){

$attrs=$product->attributes();

//Insert Products into DB
mysql_query('INSERT INTO productstemp (merchant_id, merchant_name, aw_product_id, merchant_product_id, product_name, description, category_id, merchant_category, aw_deep_link, aw_image_url, search_price, delivery_cost, merchant_image_url, aw_thumb_url, brand_name, delivery_time, display_price, in_stock, merchant_thumb_url, model_number, pre_order, stock_quantity, store_price, valid_from, valid_to, web_offer, merchantimage, cleancompany) VALUES("'.$merchattrs->id.'","'.$merchattrs->name.'","'.$attrs->id.'"," ","'.$product->text->name.'","'.$product->text->desc.'","'.$product->cat->awCatId.'","'.$product->cat->mCat.'","'.$product->uri->awTrack.'","'.$product->uri->awImage.'","'.$product->price->buynow.'","'.$product->price->delivery.'","'.$product->uri->mImage.'","'.$product->uri->awThumb.'","'.$product->brand->brandName.'","'.$product->delTime.'","'.$product->price->buynow.'","'.$attrs->in_stock.'","'.$product->uri->mThumb.'","'.$product->modelNumber.'","'.$attrs->pre_order.'","'.$attrs->stock_quantity.'","'.$product->price->store.'","'.$product->valFrom.'","'.$product->valTo.'","'.$attrs->web_offer.'","'.$merchantinfo->oMerchant->sLogoUrl.'","247electrical" ) ')
or die(mysql_error());     

}
}

由于

Answer 1

我不认为INSERT查询本身就是问题所在。毕竟200.000插入对于mysql来说并不是那么多。

首先我猜读文件很慢。 SimpleXML很方便，但对于大文件，它会导致巨大的内存开销。想想像PHP的XMLReader这样的流式XML阅读器。

您正在向mysql服务器发送单个语句，这比发送一个巨大的语句要慢。此外，您的单个插入语句应包含在事务中。如果您处理10.000记录并插入它们然后您的脚本死亡/ mysql服务器死亡等会发生什么？如何在没有手动工作的情况下再次安全地启动脚本（清除表，已经处理的查找等）。

除此之外，一个包含许多VALUES的INSERT语句应该更快。我会让你的PHP脚本输出查询，所以它看起来像这样：

INSERT INTO table(field_1, field_2, field 3)
VALUES('foo 1', 'bar 1', 'baz 1'),
VALUES('foo 2', 'bar 2', 'baz 2'),
...

然后通过以下方式导入该文件：

$ mysql ... credentials options etc ... < output.sql

如果那仍然太慢......购买更多硬件也可能会有所帮助。

替换为mysql db表中超过200,000条记录的Insert查询

1 个答案: