Question

使用Amazon Redshift（SQL），我有一个时间戳表，当条目之间的时间超过某个阈值时，我想分成不同的阶段。

例如，对此输入使用60个单位的阈值：

我想回复一下：

  id  ts  dt phase
1  a   1  NA     1
2  a   4   3     1
3  a  12   8     1
4  a  90  78     2
5  a  94   4     2
6  a 101   7     2
7  a 404 303     3
8  a 412   8     3
9  a 413   1     3

这在R（我最熟悉）中很简单，使用简单的for循环和ifelse，如果phase，则将之前的dt值增加1 ＆GT; 60：

# sample data
df <- data.frame(id = rep("a", 9),
                 ts = c(1, 4, 12, 90, 94, 101, 404, 412, 413)) %>%
  mutate(dt = c(NA, diff(ts)))

# add default minimum phase value, 1
df$phase<- 1
# for loop
for(i in 2:nrow(df)) {
  df$phase[i] <- ifelse(df$dt[i] > 60, df$phase[i-1] + 1, df$phase[i-1])
}

但是，我在SQL中使用lag函数和case / when的尝试都没有成功。

-- sample data
CREATE TABLE sampledata (
  conversationid varchar(10), ts integer
);

INSERT INTO sampledata (conversationid, ts)
VALUES
  ('a', 1),
  ('a', 4),
  ('a', 12),
  ('a', 90),
  ('a', 94),
  ('a', 101),
  ('a', 404),
  ('a', 412),
  ('a', 413);

-- query
SELECT *,
  CASE
    WHEN dt > 60 THEN LAG(period) OVER (PARTITION BY conversationid ORDER BY ts) + 1
    ELSE LAG(period) OVER (PARTITION BY conversationid ORDER BY ts)
  END AS period
FROM (
  SELECT *,
    ts - LAG(ts) OVER (PARTITION BY conversationid ORDER BY ts) AS dt,
    1 AS period
  FROM sampledata
)
ORDER BY ts
;

-- output
id ts   dt  period period
a  1        1   
a  4    3   1      1
a  12   8   1      1
a  90   78  1      2
a  94   4   1      1
a  101  7   1      1
a  404  303 1      2
a  412  8   1      1
a  413  1   1      1

我可以增加dt＆gt;行的相位值。 60，但不会在后续行中传播递增的phase值。

我想这可能与lag函数同时在所有行中操作而不是逐行和/或无法动态更新原始phase值有关（而是创建第二列phase）。

Answer 1

你很亲密。您需要基于滞后差异的累积总和：

SELECT sd.*,
       SUM(CASE WHEN diff > 60 THEN 1 ELSE 0 END) OVER (PARTITION BY conversationid ORDER BY ts) as period
FROM (SELECT sd.*,
             (ts - LAG(ts) OVER (PARTITION BY conversationid ORDER BY ts ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) ) AS diff
      FROM sampledata sd
     ) sd
ORDER BY ts;

作为旁注，我希望您使用ORDER BY conversationid, ts，而不仅仅是时间。

最后，上面的内容会在NULL处开始（它应该正确识别它们，只是笨拙地命名它们）。以下调整会根据您的具体要求进行枚举：

SELECT sd.*,
       (1 + SUM(CASE WHEN diff < 60 THEN 0 ELSE 1 END) OVER (PARTITION BY conversationid ORDER BY ts ROW BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW)) as period

有条件地增加先前的值并使用Amazon Redshift（SQL）向前传播

1 个答案: