如何在BIG QUERY中创建具有增量负载的表

时间:2018-12-08 18:39:37

标签: sql google-bigquery bigdata

我有一个表EMP,每天都会写WRITE_TRUNCATE。截断的数据与记录的输入日期一起保存在称为emp_hx的历史表中。像这样

Actual and Historical data

但是由于空间问题,我们只想在“ hx”表中维护更改的记录或新记录,这类似于增量加载表。如何实现这种表或如何在BIG QUERY中选择这种增量数据,

请指导我们。

预期输出如下

EXPECTED HX TABLE

2 个答案:

答案 0 :(得分:0)

您似乎想要:

select min(created_time) as created_time, empid, empname, sal
from emp_hx
group by empid, empname, sal;

答案 1 :(得分:0)

您可以使用row_nummber()函数在created_time之前仅提取最新的行