SELECT ... INTO OUTFILE表现

时间:2016-01-14 17:23:19

标签: mysql performance select select-into-outfile

我正在尝试优化查询的导出过程。 我有以下表格(我省略了一些不相关的字段):

CREATE TABLE _termsofuse (
    ID int(11) NOT NULL AUTO_INCREMENT, TTC_ART_ID int(11) DEFAULT NULL,
    TTC_TYP_ID int(11) DEFAULT NULL,
    TERM_OF_USE_NAME varchar(200) DEFAULT NULL,
    TERM_OF_USE_VALUE varchar(200) DEFAULT NULL,
    PRIMARY KEY (ID)
) ENGINE=InnoDB AUTO_INCREMENT=185905671 DEFAULT CHARSET=utf8;
CREATE TABLE vehicle ( ID mediumint(8) unsigned NOT NULL AUTO_INCREMENT, TTC_TYP_ID int(11) unsigned NOT NULL, PRIMARY KEY (ID), UNIQUE KEY TTC_TYP_ID_UNIQUE (TTC_TYP_ID) ) ENGINE=InnoDB AUTO_INCREMENT=44793 DEFAULT CHARSET=utf8;
CREATE TABLE part ( ID int(11) unsigned NOT NULL AUTO_INCREMENT, TTC_ART_ID int(11) unsigned NOT NULL, PRIMARY KEY (ID), UNIQUE KEY TTC_ART_ID_UNIQUE (TTC_ART_ID) ) ENGINE=InnoDB AUTO_INCREMENT=3732260 DEFAULT CHARSET=utf8;
CREATE TABLE term_of_use_name ( ID smallint(5) unsigned NOT NULL AUTO_INCREMENT, ID_Lang tinyint(3) unsigned NOT NULL, Name varchar(200) NOT NULL, PRIMARY KEY (ID, ID_Lang), UNIQUE KEY Name_Lang_UNIQUE (Name, ID_Lang), KEY fk_term_of_use_name_lang_id_lang_idx (ID_Lang), CONSTRAINT fk_term_of_use_name_lang_id_lang FOREIGN KEY (ID_Lang) REFERENCES lang (ID) ON DELETE NO ACTION ON UPDATE NO ACTION ) ENGINE=InnoDB AUTO_INCREMENT=732 DEFAULT CHARSET=utf8;
CREATE TABLE term_of_use_value ( ID mediumint(8) unsigned NOT NULL AUTO_INCREMENT, ID_Lang tinyint(3) unsigned NOT NULL, Value varchar(200) NOT NULL, PRIMARY KEY (ID,ID_Lang), UNIQUE KEY Value_Lang_UNIQUE (Value,ID_Lang), KEY fk_term_of_use_value_lang_id_lang_idx (ID_Lang), CONSTRAINT fk_term_of_use_value_lang_id_lang FOREIGN KEY (ID_Lang) REFERENCES lang (ID) ON DELETE NO ACTION ON UPDATE NO ACTION ) ENGINE=InnoDB AUTO_INCREMENT=887502 DEFAULT CHARSET=utf8;
现在我尝试为csv文件选择一些列。之后我将文件导入数据库表,但我怀疑这不应该花太多时间。 我的Select语句如下:

SELECT DISTINCT vehicle.ID, part.ID, term_of_use_name.ID, term_of_use_value.ID FROM _termsofuse
INNER JOIN vehicle ON vehicle.TTC_TYP_ID = _termsofuse.TTC_TYP_ID
INNER JOIN part ON part.TTC_ART_ID = _termsofuse.TTC_ART_ID
INNER JOIN term_of_use_name ON term_of_use_name.Name = _termsofuse.TERM_OF_USE_NAME AND term_of_use_name.ID_Lang = 2
INNER JOIN term_of_use_value ON term_of_use_value.Value = _termsofuse.TERM_OF_USE_VALUE AND term_of_use_value.ID_Lang = 2
INTO OUTFILE 'termsofuse.csv'
CHARACTER SET utf8
FIELDS TERMINATED BY ';' OPTIONALLY ENCLOSED BY '"' 
LINES TERMINATED BY '\r\n';
我的笔记本电脑上的查询时间超过8小时(我有4 GB的RAM)。 我试着看看SELECT部分​​的解释,它显示了以下内容: Explain statement

我不明白瓶颈究竟在哪里。我在不到1小时内导出了类似的(约9500万条记录)查询。使用limit将结果分成多个表似乎没有多大帮助...... 请查看您需要的任何其他信息告诉我。 提前谢谢。
编辑15/01/2016
解释选择结果
enter image description here

1 个答案:

答案 0 :(得分:0)

如果你有一个非常好的ID UNIQUE可能是PK,为什么会有INT

严重 - 必须通过辅助键来减慢速度。如果每次查找都会将其减慢2倍,则可能会加起来。

你有多少内存? innodb_buffer_pool_size的价值是多少?它应该是可用 RAM的70%左右。

让我们看看EXPLAIN SELECT ...;那里可能有更多的线索。