计算唯一行性能

时间:2018-02-08 12:26:32

标签: mysql database-design innodb database-performance query-performance

我有用户统计信息的表格。生成请求URL的统计信息。 在此URL下使用GET参数(event_id)是PHP脚本。是透明[1x1] GIF的回应。 event是一个孩子,插入和插入是从广告系列等到帐户的孩子。 基于statistic_type的两种统计类型在哪里? 一个帐户有许多空格(space_id)。

这是表CREATE:

CREATE TABLE `statistic` (
`id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,
`statistic_type` TINYINT(3) UNSIGNED NOT NULL,
`account_id` TINYINT(3) UNSIGNED NOT NULL,
`advertiser_id` SMALLINT(5) UNSIGNED NOT NULL,
`campaign_id` SMALLINT(5) UNSIGNED NOT NULL,
`insertion_id` MEDIUMINT(8) UNSIGNED NOT NULL,
`event_id` INT(10) UNSIGNED NOT NULL,
`space_id` SMALLINT(5) UNSIGNED NULL DEFAULT NULL,
`date` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
`stat_platform_id` TINYINT(3) UNSIGNED NULL DEFAULT NULL,
`stat_browser_id` SMALLINT(5) UNSIGNED NULL DEFAULT NULL,
`stat_device_type_id` TINYINT(3) UNSIGNED NULL DEFAULT NULL,
`major_version` TINYINT(4) UNSIGNED NULL DEFAULT NULL,
`uid` CHAR(19) NOT NULL,
`referrer` VARCHAR(255) NULL DEFAULT NULL,
`useragent` VARCHAR(255) NULL DEFAULT NULL,
`ipv4` INT(11) UNSIGNED NULL DEFAULT NULL,
PRIMARY KEY (`id`),
INDEX `IDX_uid` (`uid`),
INDEX `Indeks 2` (`statistic_type`, `account_id`, `advertiser_id`, `campaign_id`, `insertion_id`, `event_id`, `space_id`, `date`)
)
COLLATE='utf8_general_ci'
ENGINE=InnoDB
ROW_FORMAT=COMPRESSED
AUTO_INCREMENT=427891347;

现在,我需要获得按uidcampaign_idstatistic_type分组的event_id的所有且唯一(基于space字段)行数。

现在所有表格都有428067039行。它仍然每天增长大约150万行。 结果最多可包含100行。 最大过滤和字母聚合(具有一个campaign_id的行)行应该最多为5000000。

现在我使用此查询:

SELECT 
`sub`.`account_id`, 
`sub`.`advertiser_id`, 
`sub`.`campaign_id`, 
`sub`.`insertion_id`, 
`sub`.`event_id`, 
`sub`.`space_id`,
SUM(`sub`.actions) as 'actions',
count(1) as 'unique_actions'
FROM (
SELECT 
    `statistic`.`account_id`, 
    `statistic`.`advertiser_id`, 
    `statistic`.`campaign_id`, 
    `statistic`.`insertion_id`, 
    `statistic`.`event_id`, 
    `statistic`.`space_id`,
    count(1) as 'actions'
FROM `statistic`
WHERE 
    (`statistic`.`statistic_type`=1) AND 
    (`statistic`.`account_id`=3) AND 
    (`statistic`.`advertiser_id`=679) AND
    (`statistic`.`campaign_id`=4475) AND
    (`statistic`.`insertion_id`=26841)
GROUP BY 
    `statistic`.`statistic_type`, 
    `statistic`.`account_id`,
    `statistic`.`advertiser_id`,
    `statistic`.`campaign_id`,
    `statistic`.`insertion_id`,
    `statistic`.`event_id`,
    `statistic`.`space_id`,
    `statistic`.`uid`
) sub
GROUP BY 
`sub`.`statistic_type`, 
`sub`.`account_id`,
`sub`.`advertiser_id`,
`sub`.`campaign_id`,
`sub`.`insertion_id`,
`sub`.`event_id`,
`sub`.`space_id`;

当我按行insertion_id行过滤了400000时,它会超过7-10分钟。

说明:

+----+-------------+------------+------+---------------+----------+---------+------+-------+----------------------------------------------+
| id | select_type | table      | type | possible_keys | key      | key_len | ref  | rows  | Extra                                        |
+----+-------------+------------+------+---------------+----------+---------+------+-------+----------------------------------------------+
|  1 | PRIMARY     | <derived2> | ALL  | NULL          | NULL     | NULL    | NULL | 157521 | Using temporary; Using filesort              |
|  2 | DERIVED     | statistic  | ref  | Indeks 2      | Indeks 2 | 9       |      | 627090 | Using where; Using temporary; Using filesort |
+----+-------------+------------+------+---------------+----------+---------+------+-------+----------------------------------------------+
2 rows in set (2.61 sec)

也许我需要更改索引,可能会添加新内容?

也许我需要添加新的col并在用户请求URL时插入一些值?

1 个答案:

答案 0 :(得分:0)

通常我建议不要使用长索引,但在这种情况下,我建议使用sub's GROUP BY的所有列的8列索引,完全按照这个顺序排列。你以date结束的那个;我不知道它是否对其他东西有用。我的结尾是uid

我希望这会加快子查询,但对外部查询没有影响。

另外一个想法......由于5个列是常量,你能不能将它们带到外部查询中吗?这将减少约157521行的临时表的大部分,从而可能加速外部部分。