如果我的服务需要IP白名单,该如何将AWS Glue连接到它?我读到我似乎能够将AWS Glue放在专用VPC中并配置NAT网关。然后,我可以允许我的NAT IP连接到服务。但是,我仍然找不到将我的胶水作业配置为在子网/ VPC中运行的方法。我该怎么做呢?
答案 0 :(得分:0)
如果将数据库连接附加到VPC内部的资源,则作业将在VPC中自动运行。例如,我有一个作业,它使用Glue连接(配置为JDBC)从S3读取数据并写入私有VPC中的Aurora数据库。
该作业将自动访问VPC内部的所有资源,例如explained here。如果VPC已启用NAT进行外部访问,那么您的工作也可以利用它。
请注意,如果您使用需要VPC的连接并且使用了S3,则还需要在该VPC中为S3启用终结点。
答案 1 :(得分:0)
此处已回答您的问题 -- https://stackoverflow.com/a/64414639 请注意,Glue 是一项“托管”服务,因此它不会发布任何可列入白名单的 IP 地址列表。作为一种解决方法,您可以使用 EC2 实例运行您的自定义 python 或 pyspark 脚本并将该特定 EC2 实例的 IP 地址列入白名单