Question

希望你能让我挑选你的大脑，这样我就可以在这个过程中获得一些知识。我们有3个表 - data_product，data_issuer，data_accountbalance

CREATE TABLE `data_issuer` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`issuer_name` varchar(128) NOT NULL
PRIMARY KEY (`id`)
) ENGINE=InnoDB


CREATE TABLE `data_product` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`name` varchar(100) NOT NULL,
`issuer_id` int(11) NOT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `data_product_name_issuer_id_260fec65_uniq` (`name`,`issuer_id`),
KEY `data_product_issuer_id_d07fa696_fk_data_issuer_id` (`issuer_id`),
CONSTRAINT `data_product_issuer_id_d07fa696_fk_data_issuer_id` FOREIGN KEY 
(`issuer_id`) REFERENCES `data_issuer` (`id`)
) ENGINE=InnoDB


CREATE TABLE `data_accountbalance` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`date` date NOT NULL,
`nominee_name` varchar(128) NOT NULL,
`beneficiary_name` varchar(128) NOT NULL,
`nominee_id` varchar(128) NOT NULL,
`account_id` varchar(16) NOT NULL,
`product_id` int(11) NOT NULL,
`register_id` int(11) DEFAULT NULL,
 PRIMARY KEY (`id`),
 UNIQUE KEY `data_accountbalance_date_product_id_nominee__7b8d2c6a_uniq` (`date`,`product_id`,`nominee_id`,`beneficiary_name`),
 KEY `data_accountbalance_product_id_nominee_id_date_8ef8754f_idx` (`product_id`,`nominee_id`,`date`),
 KEY `data_accountbalance_register_id_4e78ec16_fk_data_register_id` (`register_id`),
 KEY `data_accountbalance_product_id_date_nominee_i_c3a41e39_idx` (`product_id`,`date`,`nominee_id`,`beneficiary_name`,`balance_amount`),
 CONSTRAINT `data_accountbalance_product_id_acfb18f6_fk_data_product_id` FOREIGN KEY (`product_id`) REFERENCES `data_product` (`id`),
 CONSTRAINT `data_accountbalance_register_id_4e78ec16_fk_data_register_id` FOREIGN KEY (`register_id`) REFERENCES `data_register` (`id`)
 ) ENGINE=InnoDB

运行以下查询时，系统需要大约一个小时才能响应 -

SELECT SQL_NO_CACHE *
from data_product
INNER JOIN `data_issuer` ON (`data_issuer`.`id` = `data_product`.`issuer_id`)
INNER JOIN `data_accountbalance` ON (`data_accountbalance`.`product_id` = `data_product`.`id`)
LIMIT 100000000;

data_issuer和data_product中只有少数100条记录，但data_accountbalance很大，大约有15,384,358条记录。

制作的解释计划如下 -

# id     select_type     table   partitions  type    possible_keys   key     key_len     ref     rows    filtered    Extra
1    SIMPLE  data_product        ALL    PRIMARY,data_product_issuer_id_d07fa696_fk_data_issuer_id               459 100 
1    SIMPLE  data_issuer         eq_ref PRIMARY PRIMARY 4   pnl.data_product.issuer_id  1   100 
1    SIMPLE  data_accountbalance         ref    data_accountbalance_product_id_nominee_id_date_8ef8754f_idx,data_accountbalance_product_id_date_nominee_i_c3a41e39_idx  data_accountbalance_product_id_date_nominee_i_c3a41e39_idx  4   pnl.data_product.id 493 100

有人可以帮助调整查询，所以请不要花一个小时来运行吗？感谢你可能有的任何指示。

Answer 1

如果您的查询字面意思是您在那里展示的......那就是问题所在。它没有WHERE子句。

该查询将从字面上返回15,384,358个结果。由于两个较小的表是典型的域表，一直有NOT NULL关系，因此对于data_accountbalance中的每一行，它将返回1到1的结果。

实际的时间成本可能是创建一个Massive临时表（我不确定）。只是为了下载整个数据库，所有3个表，你可以考虑优化你的临时表MySQL配置可能加快这一点，或者最好是这样，当你开始执行查询时你可以读取结果，因为MySQL让它们准备好了（避免临时表）。或者，也许运行此查询的脚本试图将整个数据集读入内存，这需要很长时间？

是否有特殊原因要下载所有数据？通常您只需下载您要操作的数据。或者让MySQL进行分组，求和等，然后根据所有数据返回您想要的答案。

您希望查询返回多少行？如果您正在考虑少于1500万的东西，那么答案是添加某种WHERE语句或聚合函数。根据您用来减少结果集的表和列，这些列必须编入索引。

我希望这会有所帮助。：）

大型MYSQL表的索引

1 个答案: