数据流作业失败 - “资源worker_pool_resource无法关闭”

Question

以下错误是什么意思？

Jan 12, 2016, 11:07:12 AM
(8e14844346add98d): Workflow failed. Causes: (8e14844346addb8e): Step teardown_resource_global_gce_worker_pool535: Resource worker_pool_resource failed to shut down

我建议无法关闭我的Dataflow作业的工作池，但是当我检查VM资源时，没有VM正在运行。

自从启用自动缩放以来，我们才开始出现此错误。

启用自动缩放后，此错误连续出现3次：

• 2016-01-11_15_02_03-7824848657076347150
• 2016-01-11_18_19_05-12071780534123998465
• 2016-01-11_20_47_50-3984152789115879104

在启用自动缩放之前，我们从未发现过此错误，例如：

• 2016-01-11_00_07_35-8990559652869485300
• 2016-01-10_19_10_43-1317798560931071006

Answer 1

当无法确定计算机是否已成功关闭时，Dataflow服务会返回此错误。例如，如果关闭请求返回意外错误类型，则会报告失败，以便用户可以采取措施而不是从闲置计算机中产生成本。

在这种情况下，在尝试调整工作池的大小时，服务正在达到配额限制。要解决此问题，您可以将--maxNumWorkers设置为最大计算引擎配额下的值，以防止这种情况发生。