我有在gcp实例上运行的数据流作业。有两种情况,一种是主人,另一种是工人。 工人的机器类型为n1-standard-8。
通常情况下,作业可以成功运行,但是有时当我们的作业失败并出现以下问题时,数据量会很大:
The job failed because a work item has failed 4 times. Look in previous log entries for the cause of each one of the 4 failures. For more information, see https://cloud.google.com/dataflow/docs/guides/common-errors. The work item was attempted on these workers:
job-20190-04240315-izqn-harness-cfj8,
job-20190-04240315-izqn-harness-cfj8,
job-20190-04240315-izqn-harness-cfj8,
job-20190-04240315-izqn-harness-cfj8
根据了解,这是堆问题,因此将机器类型增加到n1-standard-16。作业运行成功。
需要了解在这种情况下自动缩放如何工作以及增加机器类型的工作方式。
自动缩放和增加机器类型的相关性或工作方式。