Question

运行Apache Beam Python图时，我从Cloud Dataflow中看到间歇性503错误。为什么会这样？

错误是没有提供足够的上下文来解释问题根源。

File "/usr/local/lib/python2.7/dist-packages/apache_beam/io/gcp/gcsio.py", line 553, in finish
    raise self._upload_thread.last_error  # pylint: disable=raising-bad-type
HttpError: HttpError accessing <https://www.googleapis.com/resumable/upload/storage/v1/b/******/o?uploadType=resumable&alt=json&upload_id=AEnB2UotBsLaGqKqOtjpRZcvZLVmwiikA99j64_WEnOVh42zUt8F1m5hXxA-PwpUVJdtwhbfqAf5C-WJzJtsVfXg6vmGh9ogjA&name=temp%2Fbeamapp-cloude-0908010623-413022.1536368783.413249%2F5154533467808153215%2Fdax-tmp-2018-09-07_18_07_37-7050531770796171347-S01-0-406ba749ef65e1f5%2F-shard--try-15bbe0de7ff515c5-endshard.json>: response: <{'status': '410', 'content-length': '177', 'vary': 'Origin, X-Origin', 'server': 'UploadServer', 'x-guploader-uploadid': 'AEnB2UotBsLaGqKqOtjpRZcvZLVmwiikA99j64_WEnOVh42zUt8F1m5hXxA-PwpUVJdtwhbfqAf5C-WJzJtsVfXg6vmGh9ogjA', 'date': 'Sat, 08 Sep 2018 01:12:32 GMT', 'content-type': 'application/json; charset=UTF-8'}>, content <{
 "error": {
  "errors": [
   {
    "domain": "global",
    "reason": "backendError",
    "message": "Backend Error"
   }
  ],
  "code": 503,
  "message": "Backend Error"
 }
}
>

Answer 1

“ HttpError正在访问”消息

看看Cloud Storage error codes，以下是对您的消息中出现的错误代码的解释：

410-消失了（）。您尝试使用可恢复的上传会话   不再被提供。如果报告的状态代码不成功   并且仍要上传文件，则必须开始新的会话。

503-服务不可用（backendError）。我们遇到了一个内部   错误。请使用截断的指数补偿重试。

据此，该问题应该在稍后尝试后消失，但是如果没有，则可以尝试采用截断的指数补偿机制。

您的问题已经解决了吗？

Apache Beam Python在Cloud Dataflow上引发503错误-为什么？

1 个答案: