在创建工作时,我正在根据文档here中的指定一个参数:
self.client = boto3.client(
'glue',
region_name='ap-south-1',
aws_access_key_id=os.getenv('AWS_ACCESS_KEY_ID'),
aws_secret_access_key=os.getenv('AWS_SECRET_ACCESS_KEY'),
)
self.response_de_job = self.client.create_job(
Name=name,
Role=iam_role,
Command={
'Name': command,
'ScriptLocation': script_location
},
DefaultArguments={'--extra-py-files':'s3://****'},
MaxRetries=MaxRetries,
MaxCapacity=MaxCapacity,
ExecutionProperty=ExecutionProperty,
Description=Description,
Timeout=Timeout
)
但是,所做的更改未反映在作业的描述中,并且通过start_job_run
api运行它时,它引发了一个错误:cannot import user_etl
,这是我希望Glue包含在Python路径中的文件。注意:我可以通过UI来执行此操作,但不能通过Python3代码来完成此操作。