Question

如何获取当前执行胶水作业的区域？

开始执行Glue作业时，我看到输出

Detected region eu-central-1。

在AWS Lambda中，我可以使用以下几行来获取当前区域：

import os
region = os.environ['AWS_REGION']

但是，似乎AWS_REGION环境变量在Glue中不存在，因此引发了KeyError：

KeyError: 'AWS_REGION'

我需要该区域的原因是我试图按照this question中所述获取所有数据库和表，并且我不想在创建Boto客户端时对区域进行硬编码。

Answer 1

一个选择是传递AWS_REGION作为作业参数。例如，如果您从Lambda触发作业：

import os

response = client.start_job_run(
    JobName = 'a_job_name',
    Arguments = {'--AWS_REGION': os.environ['AWS_REGION'] } 
)

或者，如果您使用AWS::Glue::Job CloudFormation资源定义工作，则：

GlueJob:
  Type: AWS::Glue::Job
  Properties:
    Role: !Ref GlueRole
    DefaultArguments:
      "--AWS_REGION": !Sub "${AWS::Region}"
    Command:
      ScriptLocation: !Sub s3://${GlueScriptBucket}/glue-job.py
      Name: glueetl

然后，您可以使用getResolvedOptions在工作代码中提取AWS_REGION参数：

import sys
from awsglue.utils import getResolvedOptions

args = getResolvedOptions(sys.argv, ['AWS_REGION'])
print('region', args['AWS_REGION'])

Answer 2

改为使用os.environ['AWS_DEFAULT_REGION']。

将此留给新访客。

AWS Glue中的AWS区域

2 个答案: