AWS Glue Jobs与Dev Endpoints有关系吗?

时间:2019-10-18 08:07:27

标签: amazon-web-services apache-spark aws-glue

昨天,当我尝试运行连接到可在Internet上访问的外部第三方服务的Glue作业时,Glue作业抛出“连接超时”错误。

当我在Dev Endpoint中检查互联网访问时,它没有互联网访问。然后,我添加了Nat Gateway,并将其附加到在dev端点中配置为可以访问Internet的子网的路由表中。

之后,我的Glue作业就可以连接到外部第三方服务。

Glue Jobs与Dev Endpoint有关系吗?还是两者完全隔离?

1 个答案:

答案 0 :(得分:1)

S3到S3作业被隔离将无法连接到Internet。没有设置信息的devendpoint将连接到Internet。如果您设置了一个带连接的目的地,则该连接将需要一条通往互联网的路由,即互联网网关。如果您希望作业连接到Internet或另一个vpc上的服务,则将jdbc连接添加到作业以实现此目的。这将使Glue可以在您的连接上使用网络并启动弹性网络接口,以促进与所需服务的通信。

在python中的简单测试:

os.system("nc -vz google.com 443")

nc: connect to google.com port 443 (tcp) failed: Connection timed out
nc: connect to google.com port 443 (tcp) failed: Network is unreachable

在没有网络的开发环境中

>>> import os
>>> os.system("nc -vz google.com 443")
Connection to google.com 443 port [tcp/https] succeeded!