AWS Glue作业中的资源不可用错误

时间:2019-01-28 05:12:29

标签: amazon-web-services aws-glue

我们正在使用AWS Glue服务将json文件转换为镶木地板。间歇性粘合作业失败,并显示资源不可用错误。 谁能帮助我们解决同样的问题?

3 个答案:

答案 0 :(得分:1)

最近,我对Glue Job抛出的“资源不可用”感到困惑

我也无法使用RDS在Glue中建立直接连接-它说“找不到合适的安全组”

在尝试使用Glue Job与AWS RDS连接时遇到了这个问题。

问题出在RDS使用的安全组上。有必要在安全组中放置一个自引用入站规则。

对于那些不知道自我引用入站规则是什么的人,请按照以下步骤操作

1)转到您正在使用的安全组(VPC->安全组)

2)在“入站规则”中,选择“编辑入站规则”

3)添加规则

a)类型-所有流量 b)协议-全部 c)端口范围-全部 d)源-自定义,并在可用空间中写下安全组的首字母并选择它。 e)保存。

完成!

如果您在“安全组入站规则”中缺少此条件,则

尝试创建连接,您将能够创建连接。

这次工作也应该工作。

答案 1 :(得分:0)

我也经历过几次“资源不可用”异常,但是这是他们(服务)的职责,他们正在积极地改进它。

我已经打开了有关此例外的支持通知单,他们说:

  

Glue在后端创建一个新的Spark环境以便运行   提交的作业取决于帐户ID,IAM角色,subnetID和   安全组。 在不同的IAM用户下运行Glue作业可能有助于缓解此问题。通过这样做,Glue在后端创建了一个新的Spark环境,以运行由不同的IAM角色或不同的accountID提交的作业。

因此,如果您的帐户有多个同时运行的作业,并且始终出现“资源不可用”错误,我建议您创建不同的IAM角色并在其中分配作业,以缓解此特定问题。

答案 2 :(得分:0)

这仍然是一个持续存在的问题。对于我的设置,是RDS连接的子网所在的可用区域。“修复”为:

  1. AWS控制台>胶水>连接>编辑连接>查看连接所使用的子网。
  2. AWS控制台> VPC>子网>在其他区域中标识(或创建)子网。
  3. AWS控制台>胶水>连接>编辑连接>切换为使用步骤2中的子网。
  4. 执行任务。

如果作业仍然失败并显示“资源不可用”,请重复执行直到工作。