从集合中的每一行获取最新行（5M +行）

Question

我有2个表 - 传感器和读数。 传感器与读数之间存在一对多关系。

我需要查询来自传感器的所有行，然后从每行的读数获取最新的（即MAX时间戳）数据。我试过了：

SELECT sensors.*, readings.value, readings.timestamp
FROM sensors
LEFT JOIN readings ON readings.sensor_id = sensors.id
GROUP BY readings.sensor_id

问题是，我有600万行数据，查询需要将近两分钟才能执行。有没有更有效的方法可以获得每个传感器的最后读数/值？

Answer 1

这就是我解决问题的方法：

• 它涉及填充latest_readings table
的触发器
• 它涉及另一个名为latest_readings的表。

表

我认为sensor_id是唯一的，因为我认为每个传感器都有一个读数。这可以通过添加额外的列按类型进行分类。

唯一索引的原因：我们将使用MySQL的INSERT INTO ... ON DUPLICATE KEY UPDATE为我们完成所有艰苦的工作。如果有特定传感器的读数，它会更新 - 否则，它会被插入（在一个查询中）。

您还可以将sensor_id设为外键。我跳过那一部分。

CREATE TABLE latest_readings (
    id int unsigned not null auto_increment,
    sensor_id int unsigned not null,
    reading_id int unsigned not null,
    primary key(id),
    unique (sensor_id)
) ENGINE = InnoDB;

触发器

插入后触发类型为。我将假设该表名为读数，并且它包含sensor_id列。相应调整。

DELIMITER $$

CREATE
    TRIGGER `readings_after_insert` AFTER INSERT ON `readings` 
        FOR EACH ROW BEGIN
            INSERT INTO readings 
                (sensor_id, reading_id) 
                VALUES
                (NEW.sensor_id, NEW.id)

                ON DUPLICATE KEY UPDATE reading_id = NEW.id
                ;
        END;
$$

DELIMITER ;

如何查询最新的传感器读数

再一次，我假设列名是什么，所以要相应调整。

SELECT
r.reading_value

FROM readings r

INNER JOIN latest_readings latest
ON latest.sensor_id = r.sensor_id

WHERE r.sensor_id = 12345;

免责声明：这只是一个示例，可能包含错误，这意味着它不是复制粘贴解决方案。如果某些东西不起作用，并且很容易修复 - 请这样做:)