带有Internet的AWS Glue Python Shell

Question

尝试运行AWS Glue Python Shell作业，但出现连接超时错误

错误图片：https://i.stack.imgur.com/MHpHg.png

脚本：https://i.stack.imgur.com/KQxkj.png

Answer 1

您似乎没有在VPC中添加secretsmanager端点。由于流量不会离开AWS network，因此您的Glue作业的VPC内部将无法访问互联网。因此，如果要连接到Secretsmanager，则需要将其添加到VPC。

有关如何将其添加到VPC和this的信息，请参阅this，以确保您已正确配置安全组。

Answer 2

AWS Glue Git Issue

嗨，我们使AWS Glue Python Shell可以处理所有依赖项，如下所示。胶水还具有 awscli 依赖性以及 boto3

带有Internet的AWS Glue Python Shell

在执行胶水作业期间，将awscli和boto3 whl文件添加到 Python库路径。此选项很慢，因为它必须下载和安装依赖项。

下载以下whl文件

将文件上传到给定python库路径中的s3存储桶
在python库路径中添加s3 whl文件路径。给出整个whl文件s3的引用路径，以逗号

没有Internet连接的AWS Glue Python Shell

参考：AWS Wrangler Glue dependency build

我们对 awscli 和 boto3 whl文件执行了上述步骤
下面是针对最新版本编译的最新 requirements.txt

colorama==0.4.3
docutils==0.15.2
rsa==4.5.0
s3transfer==0.3.3
PyYAML==5.3.1
botocore==1.19.23
pyasn1==0.4.8
jmespath==0.10.0
urllib3==1.26.2
python_dateutil==2.8.1
six==1.15.0

将依赖项下载到libs文件夹

pip download -r requirements.txt -d libs

打包为zip文件

cd libs zip ../boto3-depends.zip *

将 boto3-depends.zip 上载到s3，并将其添加到胶水作业的路径参考文件路径 注意：它是引用文件路径，而不是 Python库路径
占位符代码，用于安装最新的awcli和boto3并加载到AWS Python Glue Shell中。

import os.path
import subprocess
import sys

# borrowed from https://stackoverflow.com/questions/48596627/how-to-import-referenced-files-in-etl-scripts
def get_referenced_filepath(file_name, matchFunc=os.path.isfile):
for dir_name in sys.path:
candidate = os.path.join(dir_name, file_name)
if matchFunc(candidate):
return candidate
raise Exception("Can't find file: ".format(file_name))

zip_file = get_referenced_filepath("awswrangler-depends.zip")

subprocess.run()

# Can't install --user, or without "-t ." because of permissions issues on the filesystem
subprocess.run(, shell=True)

#Additonal code as part of AWS Thread https://forums.aws.amazon.com/thread.jspa?messageID=954344
sys.path.insert(0, '/glue/lib/installation')
keys =
for k in keys:
if 'boto' in k:
del sys.modules[k]

import boto3
print('boto3 version')
print(boto3.__version__)

检查代码是否与最新的AWS CLI API一起使用

谢谢萨拉斯

AWS Glue Python Shell作业连接超时错误

2 个答案:

带有Internet的AWS Glue Python Shell

没有Internet连接的AWS Glue Python Shell