Question

我有3个进程A，B和C，如以下系列表中所定义：

CREATE TABLE processA
(date_time datetime, valueA int);

INSERT INTO processA
                (date_time, valueA)
VALUES
('2013-1-8  22:10:00', 100),
('2013-1-8  22:15:00', 100),
('2013-1-8  22:30:00', 100),
('2013-1-8  22:35:00', 100),
('2013-1-8  22:40:00', 100),
('2013-1-8  22:45:00', 100),
('2013-1-8  22:50:00', 100),
('2013-1-8  23:05:00', 100),
('2013-1-8  23:10:00', 100),
('2013-1-8  23:20:00', 100),
('2013-1-8  23:25:00', 100),
('2013-1-8  23:35:00', 100),
('2013-1-8  23:40:00', 100),
('2013-1-9  00:05:00', 100),
('2013-1-9  00:10:00', 100);


CREATE TABLE processB
(date_time datetime, valueB decimal(4,2));

INSERT INTO processB
                (date_time, valueB)
VALUES
('2013-1-08  21:46:00', 3),
  ('2013-1-08  22:11:00', 4),
  ('2013-1-08  22:31:00', 5),
  ('2013-1-08  22:36:00', 6),
  ('2013-1-08  22:41:00', 7),
  ('2013-1-08  23:06:00', 8),
  ('2013-1-08  23:20:00', 2),
  ('2013-1-08  23:46:00', 3),
  ('2013-1-09  00:34:00', 9);


CREATE TABLE processC
(date_time datetime, status varchar(4));

INSERT INTO processC

VALUES
('2013-1-08 18:00:00', 'yes'),
('2013-1-08 19:00:00', 'yes'),
('2013-1-08 20:00:00', 'yes'),
('2013-1-08 21:00:00', 'yes'),
('2013-1-08 22:00:00', 'yes'),
('2013-1-08 23:00:00', 'no'),
('2013-1-08 00:00:00', 'no'),
('2013-1-08 01:00:00', 'no');

正如您所看到的，每个过程的读数发生的时间并不相同。

ProcessA， IF 发生，每隔5分钟进行一次
ProcessB，读数在不可预测的时间发生，但通常在一小时内多次发生
ProcessC将始终具有每小时值（是或否）。

首先，我想转换processB，以便每隔5分钟读取一次读数，这样数据就与processA对齐，然后可以让我在5分钟间隔标记处对两个表进行简单连接。对于转换，每5分钟的数据应设置为[-30,30）分钟窗口内可用的最近 processB观察。如果值等距，则取平均值。如果在30分钟窗口中没有可用，则将其设置为空。

一旦我有了这个，我可以使用类似下面的内容在ProcessY上对％Y％m％d％H进行简单连接，以获得一个所有数据以5分钟间隔标记对齐的最终表：

date_format(date_time, '%Y%m%d%H') = date_format(date_time, '%Y%m%d%H')

如果有人有任何指示/指导，我会很感激。我很感激。

示例输出：

'2013-1-8  22:10:00', 100, 4, yes    <--- closer to 22:11 than 21:46
'2013-1-8  22:15:00', 100, 4, yes    <--- closer to 22:11 than 21:31
'2013-1-8  22:30:00', 100, 5, yes    <--- closer to 22:31 than 22:11
'2013-1-8  22:35:00', 100, 6, yes    <--- closer to 22:36 than 22:31
'2013-1-8  22:40:00', 100, 7, yes    <--- closer to 22:41 than 22:36
'2013-1-8  22:45:00', 100, 7, yes    <--- closer to 22:41 than 23:06
'2013-1-8  22:50:00', 100, 7, yes    <--- closer to 22:41 than 23:06
'2013-1-8  23:05:00', 100, 8, yes    <--- closer to 23:06 than 23:06
'2013-1-8  23:10:00', 100, 8, no     <--- closer to 23:06 than 23:20
'2013-1-8  23:20:00', 100, 2, no     <--- closer to 23:20 than 23:10
'2013-1-8  23:25:00', 100, 2, no    <--- closer to 23:20 than 23:10
'2013-1-8  23:35:00', 100, 3, no    <--- closer to 23:46 than 23:20
'2013-1-9  00:05:00', 100, 3, no    <--- closer to 23:46 than 00:34
'2013-1-9  00:10:00', 100, 6, no    <--- takes the avg of 3 and 9

Answer 1

这个棘手的部分是从processB中检索适当的一行或多行，这些行对应于processA的每一行。

让我们一步一步来。

首先，我们需要能够加入processA和processB来检索候选时间戳对。我们这样做：

               SELECT a.date_time a, 
                      TIMESTAMPDIFF(SECOND, a.date_time, b.date_time) timediff
                 FROM processA a
                 JOIN processB b 
                   ON TIMESTAMPDIFF(SECOND, a.date_time, b.date_time) >= -1800
                  AND TIMESTAMPDIFF(SECOND, a.date_time, b.date_time) <   1800

这使我们得到符合[-30,30]标准的a和b次。这个结果中有很多行;但我们可以检查它以确保我们已正确完成范围比较。 http://sqlfiddle.com/#!2/48f54/47/0

现在我们需要生成时间窗口来搜索一个或多个匹配的b记录的每条记录。像这样。

       SELECT a, 
              MIN(ABS(timediff)) windowsize
          FROM (
               SELECT a.date_time a, 
                      TIMESTAMPDIFF(SECOND, a.date_time, b.date_time) timediff
                 FROM processA a
                 JOIN processB b 
                   ON TIMESTAMPDIFF(SECOND, a.date_time, b.date_time) >= -1800
                  AND TIMESTAMPDIFF(SECOND, a.date_time, b.date_time) <   1800
         ) d
        GROUP BY a

这会产生两列：第一列是a的时间戳，第二列是范围内最近的b时间戳（或时间戳，如果要平均多于一个）的时间范围。对于没有足够b记录的记录，此结果集没有任何行。 http://sqlfiddle.com/#!2/48f54/46/0

最后，我们需要检索并平均每条记录的b记录值。这是。

SELECT processA.date_time date_time,
       processA.valueA valueA,
       AVG(processB.valueB) valueB
  FROM processA
  LEFT JOIN (
        SELECT a, 
               MIN(ABS(timediff)) windowsize
              FROM (
                   SELECT a.date_time a, 
                          TIMESTAMPDIFF(SECOND, a.date_time, b.date_time) timediff
                     FROM processA a
                     JOIN processB b 
                       ON TIMESTAMPDIFF(SECOND, a.date_time, b.date_time) >= -1800
                      AND TIMESTAMPDIFF(SECOND, a.date_time, b.date_time) <   1800
             ) d
          GROUP BY a
    ) j ON processA.date_time = j.a
   LEFT JOIN processB ON (    processB.date_time >= j.a - INTERVAL j.windowsize SECOND
                          AND processB.date_time <= j.a + INTERVAL j.windowsize SECOND
                          AND processB.date_time < j.a + INTERVAL 1800 SECOND)
  GROUP BY processA.date_time, processA.valueA

请注意，这里有几个开放范围（<运算符而不是<=运算符）。那些可以容纳你的[-30,30]开放范围。这是查询。 http://sqlfiddle.com/#!2/48f54/45/0

此最终查询将三个表连接在一起：processA，我们的虚拟表显示每个时间戳的搜索范围，以及process B。最后一个ON子句执行实际范围搜索。开放范围使它变得稍微复杂一些。

看看这是怎么回事？从内到外构建查询很有帮助。

不要忘记在processB.date_time上添加索引。

我冒昧地将processC加入此虚拟桌面。

不完全同步时对齐时间戳

1 个答案: