通过命令提示符/计划任务验证bigquery成功上传

Question

我正在尝试通过计划任务（.bat文件）将文件上传到BigQuery中，以下代码可以很好地做到这一点（选择任何csv并使用以相同名称填充表的架构）然后移动原始文件）。

我要在其中执行的操作是，加载是否不能使文件不移动-任何帮助，或者我是否想对简单的命令行执行做一些过于复杂的事情？

@ECHO Off
for %%g in (c:\Test\*.csv) do (
    bq load --source_format=CSV my_project:data.%%~ng %%g c:\Test\schema.txt
    move %%g c:\Test\archive\%%~ng.csv
)

注意：这可以在运行我的凭据之前对其进行验证。

Answer 1

作为最佳实践，您可以手动为加载的作业创建作业ID。因此，一旦bigquery启动作业，您就可以定期轮询作业状态以检查其状态是否为SUCCESS / FAILURE / RUNNING，然后可以选择根据此状态将csv文件移动到存档文件夹。

这里有一些与此相关的文档链接

Generate Job ID programmatically

Viewing Job Status