使用Cloud Function将数据从Cloud Storage加载到BigQuery中(功能的替代方法?)

时间:2019-04-13 02:33:10

标签: google-cloud-platform google-bigquery google-cloud-storage google-cloud-functions etl

我当前正在使用Cloud Function将数据从Cloud Storage中的csv文件加载到BigQuery。

但是,云函数有超时限制,我希望这些文件足够大,会引起问题。

此外,插入大查询仅限于10mb/insert_rows

我还可以使用什么代替Cloud Functions来实现此功能? 在文件放入Cloud Storage时需要触发它。

1 个答案:

答案 0 :(得分:2)

如果要从.CSV插入文件,请使用批量加载作业。要求BigQuery加载文件是一秒钟的工作,BigQuery将以异步模式继续加载它们。

这些负载是免费的,您的云功能不需要等待它完成。

您将能够设置每次将新文件放入GCS存储桶时调用云功能的通知。