如何在Google云平台中自动加载CSV文件？

Question

我是GCP的新手。我想在Bigquery，Bigtable等任何谷歌云平台组件中自动加载CSV文件。我不想手动工作每天在GCP上加载文件。我想通过GCP自动处理这个手动工作。请建议我任何方案，以便我可以自动加载文件。

提前致谢

Answer 1

在奔腾的坚实答案的基础上，您还可以选择以下（无服务器）康加舞线：

GCS -> Cloud Functions -> Dataflow (template) -> BigQuery

我们在很多项目中使用这种模式，它的工作非常精彩。它是事件驱动的，PB可扩展的，全自动的和零操作。

Answer 2

您可以选择在GCS中查看Object Change Notification。 因此，无论何时上传文件，都可以使用webhook ping URL。

然后您可以设置App Engine应用程序或云功能来进行导入，所有这些都是无服务器的。