如何设置自动导入Google Data Prep?

时间:2018-06-27 10:05:45

标签: python google-cloud-platform google-cloud-dataprep

使用Google Data Prep时,我可以创建自动计划以运行更新BigQuery表的作业。

但是,考虑到Prep中使用的数据是通过手动将CSV(或JSON,xlsx等)拖放到数据存储桶中来更新的,这似乎毫无意义。

我试图寻找一种确定的方式来自动使用我的PC上定期更新的文件来自动更新此存储桶,但似乎找不到最佳实践解决方案。

应该如何有效地做到这一点?

1 个答案:

答案 0 :(得分:1)

因此,为了将文件从您的计算机上载到Google Cloud Storage,有几种可能性。如果您只运行一个守护进程来处理该共享目录中的所有更改,则可以使用以下不同语言编写自动上载的代码:C#,Go,Java,Node.JS,PHP,Python或Ruby。

您在这里some code examples用于上传对象,但是请注意,这里还有一个detailed Cloud Storage Client Libraries references,并且您还可以在"Additional Resources".中找到GitHub链接