计算Hive数组

时间:2017-12-19 04:18:35

标签: arrays hadoop hive

我正在使用Hive,需要计算存储在表格每行中包含的数组中的连续日期之间的差异(以天为单位),以便获得记录时间之间的差距。每行代表一个客户,并包含其交易日期。例如(最后一列是所需的输出):

customer_id | dates                                                |output 
--------------------------------------------------------------------------
0001        | ["2016-09-01","2017-01-01","2017-02-05","2017-11-01"]|[122,35,269]

目标是迭代生成此新列的表中的所有行。客户将有不同数量的交易,因此我需要循环查看日期列表。

1 个答案:

答案 0 :(得分:1)

假设输入表为array_test,输出表为output_table。此外,array_test包含列customer_id stringdates Array<string> 我在输入表中插入的数据是:

insert into array_test select "0001",ARRAY("2016-09-01","2017-01-01","2017-02-05","2017-11-01")
insert into array_test select "0001",ARRAY("2016-09-01","2017-01-01","2017-02-05","2017-11-02")

我使用的输出表create语句是:

CREATE TABLE output_table(customer_id string,dates array<string>,output array<int>);

然后使用以下查询从输入表中进行选择并插入到输出表中:

insert into output_table select customer_id,dates, ARRAY(datediff(to_date(dates[1]), to_date(dates[0])),datediff(to_date(dates[2]), to_date(dates[1])),datediff(to_date(dates[3]), to_date(dates[2]))) from array_test;

以下是输出:

hive> select output from output_table;
OK
[122,35,269]
[122,35,269]
[122,35,270]
[122,35,270]
Time taken: 0.071 seconds, Fetched: 4 row(s)