昨天,当我尝试运行连接到可在Internet上访问的外部第三方服务的Glue作业时,Glue作业抛出“连接超时”错误。
当我在Dev Endpoint中检查互联网访问时,它没有互联网访问。然后,我添加了Nat Gateway,并将其附加到在dev端点中配置为可以访问Internet的子网的路由表中。
之后,我的Glue作业就可以连接到外部第三方服务。
Glue Jobs与Dev Endpoint有关系吗?还是两者完全隔离?
答案 0 :(得分:1)
S3到S3作业被隔离将无法连接到Internet。没有设置信息的devendpoint将连接到Internet。如果您设置了一个带连接的目的地,则该连接将需要一条通往互联网的路由,即互联网网关。如果您希望作业连接到Internet或另一个vpc上的服务,则将jdbc连接添加到作业以实现此目的。这将使Glue可以在您的连接上使用网络并启动弹性网络接口,以促进与所需服务的通信。
在python中的简单测试:
os.system("nc -vz google.com 443")
nc: connect to google.com port 443 (tcp) failed: Connection timed out
nc: connect to google.com port 443 (tcp) failed: Network is unreachable
在没有网络的开发环境中
>>> import os
>>> os.system("nc -vz google.com 443")
Connection to google.com 443 port [tcp/https] succeeded!