我有一个Glue脚本,应该将其结果写入for循环的Redshift表中。
经过数小时的处理,它引发了此异常:
Py4JJavaError: An error occurred while calling o11362.pyWriteDynamicFrame.
: java.sql.SQLException: [Amazon](500150) Error setting/closing connection: Connection refused.
为什么会出现此异常?
答案 0 :(得分:0)
事实证明,Redshift群集具有一个maintenance window,可以在其中重新引导它们。当尝试写入该群集的表时,此事件当然会导致Glue Job失败。
重新安排维护时段https://docs.aws.amazon.com/redshift/latest/mgmt/managing-clusters-console.html
可能有用答案 1 :(得分:0)
此错误可能由于多种原因发生。我敢肯定,经过几次Google搜索,您发现最常见的原因是群集的安全组设置不正确(请确保入站设置正确)。
我建议您在尝试此较长的过程之前,请确保即使在很短的时间内即可建立连接。如果您能够这样做,那么我敢打赌,问题是您的连接在超时后关闭(因为您的过程很长)。为了解决这个问题,您应该研究连接池,该过程涉及创建连接实例并不断检查以确保其仍处于活动状态,从而允许进程连续使用群集连接。