大查询公共数据集事件/触发器?

时间:2018-09-13 00:28:27

标签: google-bigquery

每当有新行插入到公共数据集中时,是否有办法获得通知? BQ数据集/表是否支持触发器或事件,以便我们在数据更改时使用?

我正在尝试使用公共数据集,并希望在Google更新公共数据集时执行重新计算逻辑。 每当将新行插入noaa_gsod.gsod_2018公共数据集时,我希望调用CloudFunction进行计算。 现在,它不一定要成为无服务器的目标-如果BQ公共数据集可以某种方式将此类消息发布到PubSub,我很高兴在PubSub上订阅主题并使用GCE VM实例执行我的逻辑。 不幸的是,我找不到一种方法来通知公共数据集的更改/更新。 如果有人尝试过此事,我们很乐意听取社区的意见。 谢谢, Dheerendra Nath。

1 个答案:

答案 0 :(得分:1)

到目前为止,我看到的最好的选择是让您在需要的时候在查询下面(免费)执行该过程,并根据相应字段的变化调用您所想的任何逻辑

select last_modified_time, row_count
from `bigquery-public-data.noaa_gsod.__TABLES__`
where table_id = 'gsod2018'

或者您可以将tables.get API用于同一

不幸的是,不支持BigQuery表上的Cloud Function触发器,也不支持BigQuery更改的通知

同时,您可以在issue tracker

中提交相应的功能请求