有什么方法可以从正在执行的pyspark脚本中获取胶合作业的成功或失败状态？

Question

嗨，我对AWS Glue相当陌生。有没有可能找到我正在运行并在MySQL中更新的粘合脚本的工作状态的方法。从脚本内部完成执行后，我试图获取粘合脚本的状态。

从下面的代码中，我仅获得Mysql中更新后的运行状态，但这应该是成功还是失败。

myNewJobRun = glue_client.start_job_run(JobName=GLUE_JOB)
status = glue_client.get_job_run(JobName=GLUE_JOB, RunId=myNewJobRun['JobRunId'])
print ("GLUE_JOB run ID: " + myNewJobRun['JobRunId'])
print ("GLUE_JOB run State: " +status['JobRun']['JobRunState'])

Answer 1

您可能还想检查重试作业的状态（如果已启用重试功能）。胶水分配一个新的JobRunId，后缀为“ attempt ”。