将新文件添加到云存储

时间:2016-04-01 20:11:46

标签: google-cloud-storage google-cloud-dataflow google-cloud-functions

我想在将新文件添加到存储桶时触发Dataflow作业,以便处理新数据并将其添加到BigQuery表中。我通过存储桶中的更改看到云功能can be triggered,但我还没有找到使用gcloud node.js library启动数据流作业的方法。

有没有办法使用Cloud Functions执行此操作,还是有另一种方法可以实现所需的结果(将文件添加到存储桶时将新数据插入BigQuery)?

2 个答案:

答案 0 :(得分:2)

从2.2开始,Apache Beam支持此功能。见Watching for new files matching a filepattern in Apache Beam

答案 1 :(得分:2)

也许这篇文章有助于如何从App Engine或云功能触发数据流管道?

https://cloud.google.com/blog/big-data/2016/04/scheduling-dataflow-pipelines-using-app-engine-cron-service-or-cloud-functions