将input_file_path参数提供给Glue控制台的粘合剂

时间:2018-06-14 12:50:12

标签: amazon-web-services amazon-s3 etl aws-glue

我想将s3文件名作为input_file_path传递,我想从Glue console执行作业。是否可以通过AWS Glue控制台提供input_file_path参数?

1 个答案:

答案 0 :(得分:2)

如果要通过Glue Console(UI)创建作业参数,则必须先在作业中定义参数:

  • 展开脚本库和作业参数部分 enter image description here

  • 输入您的参数: enter image description here

  • 在您的代码中阅读它(Scala示例):

    def main(sysArgs: Array[String]) {
      val args = GlueArgParser.getResolvedOptions(sysArgs, Array("input_file_path"))
      print(s"Input path: ${args("input_file_path")}")
    }
    
  • 在您的代码中阅读它(Python):

    import sys
    
    args = getResolvedOptions(sys.argv, ['input_file_path'])
    print(args['input_file_path'])