Question

我在Hive中有以下表mytable：

id    radar_id     car_id     datetime
1     A21          123        2017-03-08 17:31:19.0
2     A21          555        2017-03-08 17:32:00.0
3     A21          777        2017-03-08 17:33:00.0
4     B15          123        2017-03-08 17:35:22.0
5     B15          555        2017-03-08 17:34:05.0
5     B15          777        2017-03-08 20:50:12.0
6     A21          123        2017-03-09 11:00:00.0
7     C11          123        2017-03-09 11:10:00.0
8     A21          123        2017-03-09 11:12:00.0
9     A21          555        2017-03-09 11:12:10.0
10    B15          123        2017-03-09 11:14:00.0
11    C11          555        2017-03-09 11:20:00.0

我希望在同一行程中获得通过雷达A21和B15的汽车路线。例如，如果相同car_id的日期不同，则它不是同一行程。基本上，我想考虑同一车辆的雷达A21和B15之间的最大时差应为30分钟。如果它更大，则行程不一样，例如car_id 777。

我的最终目标是计算每天的平均出行次数（非唯一，所以如果同一辆车通过同一路线2次，则应计算2次）。

预期结果如下：

radar_start   radar_end       avg_tripscount_per_day
A21           B15             1.5

在2017-03-08日期，雷达A21和B15之间有2次旅行（由于30分钟限制，车辆777未被考虑），而日期{{ {1}}只有一次旅行。平均每天2 + 1 = 1.5次旅行。

我怎样才能得到这个结果？基本上，我不知道如何在查询中引入30分钟限制以及如何按2017-03-09和radar_start对游乐设施进行分组。

感谢。

更新

行程在开始之日登记。
如果汽车是由radar_end的雷达A21以及2017-03-08 23:55处的雷达B15触发的，那么它应被视为该日期的同一行程{ {1}}。
如果2017-03-09 00:15 6和8同一辆车2017-03-08经过ids两次，然后转向123（A21 10）。应考虑使用B15 8的最后一次行程。所以，id。因此，最接近id。解释是，一辆车经过8-10两次，第二次经过B15。

Answer 1

我错过了你正在使用Hive所以开始为SQL-Server编写查询，但也许这会对你有所帮助。尝试这样的事情：

<强> QUERY

select radar_start, 
       radar_end, 
       convert(decimal(6,3), count(*)) / convert(decimal(6,3), count(distinct dt)) as avg_tripscount_per_day
from (
    select 
        t1.radar_id as radar_start,
        t2.radar_id as radar_end,
        convert(date, t1.[datetime]) dt,
        row_number() over (partition by t1.radar_id, t1.car_id, convert(date, t1.[datetime]) order by t1.[datetime] desc) rn1,
        row_number() over (partition by t2.radar_id, t2.car_id, convert(date, t2.[datetime]) order by t2.[datetime] desc) rn2
    from trips as t1
    join trips as t2 on t1.car_id = t2.car_id 
        and datediff(minute,t1.[datetime], t2.[datetime]) between 0 and 30
        and t1.radar_id = 'A21' 
        and t2.radar_id = 'B15'
)x
where rn1 = 1 and rn2 = 1
group by radar_start, radar_end

<强> OUPUT

radar_start radar_end   avg_tripscount_per_day
A21         B15         1.5000000000

示例数据

create table trips
(
    id int,
    radar_id char(3),
    car_id int,
    [datetime] datetime
)
insert into trips values
(1,'A21',123,'2017-03-08 17:31:19.0'),
(2,'A21',555,'2017-03-08 17:32:00.0'),
(3,'A21',777,'2017-03-08 17:33:00.0'),
(4,'B15',123,'2017-03-08 17:35:22.0'),
(5,'B15',555,'2017-03-08 17:34:05.0'),
(5,'B15',777,'2017-03-08 20:50:12.0'),

(6,'A21',123,'2017-03-09 11:00:00.0'),
(7,'C11',123,'2017-03-09 11:10:00.0'),
(8,'A21',123,'2017-03-09 11:12:00.0'),

(9,'A21',555,'2017-03-09 11:12:10.0'),
(8,'B15',123,'2017-03-09 11:14:00.0'),
(9,'C11',555,'2017-03-09 11:20:00.0')

Answer 2

select  count(*) / count(distinct to_date(datetime))    as trips_per_day

from   (select  radar_id
               ,datetime
               ,lead(radar_id) over w  as next_radar_id
               ,lead(datetime) over w  as next_datetime                    

        from    mytable

        where   radar_id in ('A21','B15')

        window  w as 
                (
                    partition by  car_id
                    order by      datetime
                )
        ) t

where   radar_id        = 'A21'
    and next_radar_id   = 'B15'
    and datetime + interval '30' minutes >= next_datetime
;

+----------------+
| trips_per_day  |
+----------------+
| 1.5            |
+----------------+

P.S。
如果您的版本不支持间隔，则最后一个代码记录可以替换为 -
and to_unix_timestamp(datetime) + 30*60 > to_unix_timestamp(next_datetime)

如何从历史数据中检索旅程？

2 个答案: