我们正在使用AWS Glue服务将json文件转换为镶木地板。间歇性粘合作业失败,并显示资源不可用错误。 谁能帮助我们解决同样的问题?
答案 0 :(得分:1)
最近,我对Glue Job抛出的“资源不可用”感到困惑
我也无法使用RDS在Glue中建立直接连接-它说“找不到合适的安全组”
在尝试使用Glue Job与AWS RDS连接时遇到了这个问题。
问题出在RDS使用的安全组上。有必要在安全组中放置一个自引用入站规则。
对于那些不知道自我引用入站规则是什么的人,请按照以下步骤操作
1)转到您正在使用的安全组(VPC->安全组)
2)在“入站规则”中,选择“编辑入站规则”
3)添加规则
a)类型-所有流量 b)协议-全部 c)端口范围-全部 d)源-自定义,并在可用空间中写下安全组的首字母并选择它。 e)保存。
完成!
如果您在“安全组入站规则”中缺少此条件,则
尝试创建连接,您将能够创建连接。
这次工作也应该工作。
答案 1 :(得分:0)
我也经历过几次“资源不可用”异常,但是这是他们(服务)的职责,他们正在积极地改进它。
我已经打开了有关此例外的支持通知单,他们说:
Glue在后端创建一个新的Spark环境以便运行 提交的作业取决于帐户ID,IAM角色,subnetID和 安全组。 在不同的IAM用户下运行Glue作业可能有助于缓解此问题。通过这样做,Glue在后端创建了一个新的Spark环境,以运行由不同的IAM角色或不同的accountID提交的作业。
因此,如果您的帐户有多个同时运行的作业,并且始终出现“资源不可用”错误,我建议您创建不同的IAM角色并在其中分配作业,以缓解此特定问题。
答案 2 :(得分:0)
这仍然是一个持续存在的问题。对于我的设置,是RDS连接的子网所在的可用区域。“修复”为:
如果作业仍然失败并显示“资源不可用”,请重复执行直到工作。