Question

我们有一个 event mysql表，我们存储从不同类型的传感器生成的事件。下面是同一个表的create table查询。

  CREATE TABLE `event` (
  `id` varchar(36) NOT NULL,
  `device_id` varchar(36) NOT NULL,
  `device_type` varchar(45) NOT NULL,
  `data` text NOT NULL,
  `created_at` datetime NOT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `id_UNIQUE` (`id`),
  KEY `fk_event_device_idx` (`device_id`),
  KEY `event_device_type` (`device_type`),
  KEY `event_created_at_idx` (`created_at`),
  CONSTRAINT `fk_event_device` FOREIGN KEY (`device_id`) REFERENCES `device` (`id`) ON DELETE NO ACTION ON UPDATE NO ACTION
) ENGINE=InnoDB DEFAULT CHARSET=utf8 |

我们有来自设备表的 device_id 的外键，而设备表的区域的外键是 zone_id 强>表。

我们想要获取特定区域和 device_type（例如THL传感器）的事件以获取日期（例如2017-02-26）。以下是我正在运行的查询。

select e.data from event e left join device d on d.id = e.device_id where d.type = 'mdc' and d.zone_id = 'e451b2a1-5f6c-4a75-8038-30854926a9c0' and DATE(e.created_at) = '2018-03-01';

解释计划给出了相同的结果。

+----+-------------+-------+------------+------+--------------------------------------+---------------------+---------+--------------+------+----------+------------------------------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-------+------------+------+--------------------------------------+---------------------+---------+--------------+------+----------+------------------------------------+ | 1 | SIMPLE | d | NULL | ref | PRIMARY,id_UNIQUE,fk_device_zone_idx | fk_device_zone_idx | 110 | const | 23 | 10.00 | Using index condition; Using where | | 1 | SIMPLE | e | NULL | ref | fk_event_device_idx | fk_event_device_idx | 110 | senzopt.d.id | 197 | 100.00 | Using where | +----+-------------+-------+------------+------+--------------------------------------+---------------------+---------+--------------+------+----------+------------------------------------+

事件表中的记录总数约为500万，上述查询大约需要1秒才能执行并提供结果。我期待改善sql执行时间。需要相同的建议。请让我知道我能做些什么。

注意：我知道我应该转向NOSQL（Kafka / Cassandra / Spark）。为此，我们正在并行工作。但是，我希望改进查询以便在当前环境中更好地为我的客户服务。

Answer 1

以较易读的格式重复您的查询：

SELECT
    e.data
FROM event e 
LEFT JOIN device d
    ON d.id = e.device_id 
WHERE
    d.type = 'mdc' AND
    d.zone_id = 'e451b2a1-5f6c-4a75-8038-30854926a9c0' AND
    DATE(e.created_at) = '2018-03-01';

我们可以通过添加适当的索引来改进此查询的性能，并且还可以对其进行改写。

首先，您可以在device上的(type, zone_id)表格中创建复合索引。这应该有助于WHERE子句。请注意，假设device.id是该表的主键，它应该已经被索引，这意味着您拥有的LEFT JOIN条件应该是最佳的。

您还可以在event.created_at表格的event列上创建索引。但是为了利用它，我们必须重写非SARGable条件WHERE DATE(e.created_at) = '2018-03-01'：

WHERE e.created_at >= '2018-03-01' AND e.created_at < '2018-03-02'

上述含义相同，但不会将created_at列包装在函数中。

以下是您的最终查询的样子：

SELECT
    e.data
FROM event e 
LEFT JOIN device d
    ON d.id = e.device_id     -- d.id already has an index
WHERE
    d.type = 'mdc' AND        -- index (type, zone_id)
    d.zone_id = 'e451b2a1-5f6c-4a75-8038-30854926a9c0' AND   -- same index as above
    e.created_at >= '2018-03-01' AND e.created_at < '2018-03-02'

改进SQL查询以获取特定日期的传感器事件。设备类型

1 个答案: