从Firebase以外的其他来源同时将数据保存在bigquery中

时间:2019-05-08 06:49:52

标签: firebase google-bigquery

我们正在尝试根据应用程序记录一些事件。事件有两种类型,

  1. 客户端事件:由Android应用程序使用firebase SDK记录,并由firebase保存到bigquery
  2. 服务器端事件:我们使用bigquery的go客户端对其进行记录

现在,firebase将当天的事件存储到events_intraday_ $ date表中,然后将该表刷新到分区表events_ $ date中。

因此,我也将当天的事件记录到events_intraday_ $ date表中。

  

事件已成功登录到表中,但是第二天在将events_intraday_ $ date表刷新到events_ $ date表中时被删除了。

我不知道那是怎么回事。

1 个答案:

答案 0 :(得分:0)

看起来像是intended behaviour

  

在每个数据集中,每天导出的表格都会被导入。每日表格的格式为“ ga_sessions_YYYYMMDD”。

     

日内数据大约每天导入3次。日内表格的格式为“ ga_sessions_intraday_YYYYMMDD”。在同一天,每次导入的当日数据都会覆盖同一表格中的上一次导入。

     

完成每日导入后,将删除前一天的日内表格。对于当天,直到第一个日内导入,都没有日内表。如果日内表写入失败,则将保留前一天的日内表。

     

直到完成每日导入,当前日期的数据才是最终的。您可能会注意到,根据跨越上次导入日期的时间范围的活跃用户会话,当天和每日数据之间的差异。