Google BigQuery - 使用单个作业复制导入

Question

BigQuery是否存在任何已知问题，其中单个作业导致重复导入？我们正在看到这个问题，需要帮助才能找出BigQuery中发生的问题。

我们的流程每15分钟运行一次，将CSV导入BigQuery。我调查了我们的日志，两次处理的作业显示以下问题。已处理两次的CSV文件中有36101行。

1. 我们的上传过程成功将单个Job发布到BigQuery。发布用于上传的CSV文件有36101行，大小为2846673

2. 我们的流程会检查作业的状态。检查作业状态时请注意“outputRows”。与预期相同（36101）。

   “status”：{    “州”：“跑” }， “统计”：{    “startTime”：“1356528625599”，    “load”：{       “inputFiles”：“1”，       “inputFileBytes”：“2846673”，       “outputRows”：“36101”，       “outputBytes”：“13651590”    }  }  }

3. 请注意，完成上述作业后，该过程会显示两倍的记录。请参阅outputRows（72202）

   “status”：{    “州”：“完成”  }，  “统计”：{     “startTime”：“1356528625599”，     “endTime”：“1356528665201”，     “load”：{        “inputFiles”：“1”，        “inputFileBytes”：“2846673”，        “outputRows”：“72202”，        “outputBytes”：“27303180”     }   }   }

Answer 1

我们已经确定并修复了该错误。如果您遇到任何进一步的问题，请告诉我们。

Answer 2

对于它的价值，我们在过去五天内两次看到同样的问题。我们每10分钟加载一次，并将其更改为每小时一次，以使此问题更易于管理。