我们有一个使用bq上传JSON换行符分隔数据的脚本。 bq未能说BigQuery error in load operation: Connection error. Please try again.。我们的脚本重试了5次，直到成功为止。不幸的是，数据上传了5次。
答案 0 :(得分：2)
来自约旦的这个：
有一个鲜为人知的标志可以阻止bq工具中的双重上传 （如果您使用它进行导入）。如果你使用“--fingerprint_job_id” 它将使用基于您的文件名哈希的作业ID 加载，如果您尝试，将失败并显示“已存在”错误 第二次运行它。
如果您没有使用bq工具，则可以设置手动作业ID - 这可以防止同一作业在这种情况下运行两次。
如果您将相同的数据添加到同一个表中5次，并且您想要返回之前的表，那么表装饰器可以提供帮助。您可以在过去7天内返回任何州。请参阅https://developers.google.com/bigquery/table-decorators。