我想在将新文件添加到存储桶时触发Dataflow作业,以便处理新数据并将其添加到BigQuery表中。我通过存储桶中的更改看到云功能can be triggered,但我还没有找到使用gcloud node.js library启动数据流作业的方法。
有没有办法使用Cloud Functions执行此操作,还是有另一种方法可以实现所需的结果(将文件添加到存储桶时将新数据插入BigQuery)?
答案 0 :(得分:2)
从2.2开始,Apache Beam支持此功能。见Watching for new files matching a filepattern in Apache Beam。
答案 1 :(得分:2)
也许这篇文章有助于如何从App Engine或云功能触发数据流管道?