有什么方法可以在presto查询中应用循环

时间:2019-11-09 13:16:41

标签: sql bigdata presto

我的用例是使用表顶部的以下presto视图通过将今天的值减去昨天的值来获取每日计数。如果表中没有数据,则该视图应动态考虑第二天的值,然后取缺失日期视图的平均值。

这是一个预先查询。我在下面的查询中只填写了一个字段

CREATE OR REPLACE VIEW hive.facebook.post_metrics_daily AS
SELECT
    a.post_id,
    a.page,
    a.dt,
    a.created_time,
    (
        COALESCE(
            (
                CAST(a.likes AS integer) 
                - IF(
                    (CAST(b.likes AS integer) IS NULL), 
                    0, 
                    CAST(b.likes AS integer)
                )
            )
            , 0
        )
    ) likes
FROM
    hive.facebook.post_metrics a                 
    LEFT JOIN hive.facebook.post_metrics b 
        ON  a.dt = (b.dt + INTERVAL  '+1' DAY)
        AND a.post_id = b.post_id 
        AND a.brandname = b.brandname
WHERE a.dt = date'2019-09-10'

如果数据是第9到第12数据,而第10数据丢失,则该视图应采用第11天的数据,并取第9和11的平均值来给出第10视图。怎么做到呢?可以在查询中应用此公式吗?如果可以,怎么办?

(today-yesterday)/n+1,其中n是缺少的天数。

这是喜欢的样本数据。如果缺少点赞,我需要平均点赞,而缺失的天数应由查询动态识别。

 Date   Likes-org.  missing likes daily likes org.   expected likes
2019-10-17  20487   20487         20487                  20487
2019-10-18  25384   25384          4897                  4897
2019-10-19  26817   26817          1433                  1433
2019-10-20  27499   missing likes   682                   257
2019-10-21  27854   missing likes   355                   258
2019-10-22  27987   missing likes   133                   258
2019-10-23  28065   missing likes   78                    258
2019-10-24  28106   28106           41                    258
2019-10-25  28134   28134           28                     28

1 个答案:

答案 0 :(得分:0)

我认为您只想要lag()

SELECT pm.*,
       (pm.likes +
        LAG(pm.likes) OVER (PARTITION BY pm.post_id, pm.brand_name ORDER BY pm.dt)
       ) / 2
FROM hive.facebook.post_metrics pm ;

如果要将缺失的日期视为0,则需要日期算术。我认为是这样:

SELECT pm.*,
       ( (pm.likes +
          LAG(pm.likes) OVER (PARTITION BY pm.post_id, pm.brand_name ORDER BY pm.dt)
         ) /
         DATE_DIFF(day,
                   LAG(pm.dt) OVER (PARTITION BY pm.post_id, pm.brand_name ORDER BY pm.dt),
                   dt
                  )
       )
FROM hive.facebook.post_metrics pm ;

如果您希望在特定的一天使用它,请使用子查询或上面的表达式,然后在外部查询中进行过滤。