Dev ENV

Question

我已经创建了一个Glue Dev端点来测试我的代码，然后再部署到AWS Glue。在下面，您将找到项目架构的屏幕快照。胶水库中的Project layout /中有config.ini，我能够成功调试代码并运行完成。我在DEV环境中调用库的方式如下：

Dev ENV

import sys
import os
import time
from configobj import ConfigObj
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import boto3

config = ConfigObj('/home/glue/scripts/gluelibrary/config.ini')

此过程成功找到了我在配置文件中定义的所有变量，并以“退出代码0”退出

控制台

注意：我开发的库已压缩并添加到s3存储桶中，在此我告诉Glue Job查找.zip。

但是，当我在Glue Console中并且尝试实现相同的代码（文件路径除外）时，出现错误：

import sys
import os
import time
from configobj import ConfigObj
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import boto3

from gluelibrary.helpers import get_date
from gluelibrary import
from gluelibrary.boto3_.s3_utils import delete_data_in_sub_directories, check_for_empty_bucket
from gluelibrary.boto3_.s3_utils import replace_data_in_sub_directories, check_bucket_existence
print('starting job.')

print(os.getcwd())

config = ConfigObj('/home/glue/gluelibrary/config.ini')

-conf spark.hadoop.yarn.resourcemanager.connect.max-wait.ms = 60000 --conf spark.hadoop.fs.defaultFS = hdfs：//IP_ADDRESS.internal：8020 --conf spark.hadoop。 yarn.resourcemanager.address = IP_ADDRESS。内部：8032 --conf spark.dynamicAllocation.enabled = true --conf spark.shuffle.service.enabled = true --conf spark.dynamicAllocation.minExecutors = 1 --conf.spark.dynamicAllocation。 maxExecutors = 18 --conf spark.executor.memory = 5g --conf spark.executor.cores = 4 --JOB_ID j_26c2ab188a2d8b7567006809c549f5894333cd38f191f58ae1f2258475ed03d1 --enable-metrics --extra-py-gfiles s3：/// BUCKET_NAME --JOB_RUN_ID jr_0292d34a8b82dad6872f5ee0cae5b3e6d0b1fbc503dca8a62993ea0f3b38a2ae --scriptLocation s3：// BUCKET_NAME / admin / JOB_NAME --job-bookmark-option job-bookmark_NAME_NAME_NAME_NAME_admin_empB YARN_RM_DNS = IP_ADDRESS。内部检测到的区域us-east-2 JOB_NAME = JOB_NAME 在复制脚本时指定us-east-2。完成6.6 KiB / 6.6 KiB（70.9 KiB / s），剩余1个文件下载：s3：// BUCKET_NAME / admin / JOB_NAME到./script_2018-10-12-14-57-20.py SCRIPT_URL = /tmp/g-6cad80fb460992d2c24a6f476b12275d2a9bc164-362894612904031505/script_2018-10-12-14-57-20.py

Answer 1

如果您需要从Glue作业中访问其他文件，则必须：

将每个文件复制到S3上Glue有权访问的位置
在工作的extra-files special parameter中包含每个文件的完整S3密钥，以逗号分隔

然后，Glue将这些文件添加到分配给--files的{{1}}参数中，您应该能够从您的Spark作业中访问它们，就像它们在工作目录中一样。

在您的示例中，您应该能够做到：

spark-submit

在AWS Glue中读取配置文件

Dev ENV

控制台

1 个答案: