BigQuery Data Transfer不会删除源

时间:2019-02-20 09:47:07

标签: google-bigquery

我正在使用按需(作为自动化之前的测试)Bigquery Data Transfer作业,该作业将数据从Storage加载到表中。 一切正常,但是我将“传输后删除源文件| true”,最后不会删除任何文件。它们不会再次加载,但始终位于“存储”文件夹中。

此删除至关重要,因为数据量可能会在短时间内变得非常大。我可以用另一个程序删除它们,但随后“传输服务”将变得不那么有趣了。

作业本身不会引发任何错误,这意味着某些操作会以静默方式失败。您知道什么可能导致这种情况吗?还是我错过了此选项的含义?

谢谢

1 个答案:

答案 0 :(得分:0)

确保您具有足够的权限来进行云存储传输,但不会明确告诉您缺少哪些权限。

所需权限

  1. BigQuery
    • bigquery.transfers.update
  2. 云存储
    • storage.objects.get
    • storage.objects.list
    • storage.objects.delete

更多信息refer在这里