AWS Glue API的DefaultArguments不起作用

时间:2019-03-14 13:15:49

标签: python python-3.x amazon-web-services boto3 aws-glue

在创建工作时,我正在根据文档here中的指定一个参数:

self.client = boto3.client(
    'glue',
    region_name='ap-south-1',
    aws_access_key_id=os.getenv('AWS_ACCESS_KEY_ID'),
    aws_secret_access_key=os.getenv('AWS_SECRET_ACCESS_KEY'),
)
self.response_de_job = self.client.create_job(
    Name=name,
    Role=iam_role,
    Command={
        'Name': command,
        'ScriptLocation': script_location
    },
    DefaultArguments={'--extra-py-files':'s3://****'},
    MaxRetries=MaxRetries,
    MaxCapacity=MaxCapacity,
    ExecutionProperty=ExecutionProperty,
    Description=Description,
    Timeout=Timeout
)

但是,所做的更改未反映在作业的描述中,并且通过start_job_run api运行它时,它引发了一个错误:cannot import user_etl,这是我希望Glue包含在Python路径中的文件。注意:我可以通过UI来执行此操作,但不能通过Python3代码来完成此操作。

0 个答案:

没有答案