如何访问使用DataProcPySparkOperator运算符在任务中传递的参数值？

Question

我想将参数传递给Airflow Dag中的特定任务，并在我的pyspark代码中访问它。以下是任务定义：

run_cmd_arg_test_job= DataProcPySparkOperator(
    task_id='test',
    main='gs://dataprocessing_scripts/testArg.py',
    arguments=['2018-05-07'],
    job_name='test',
    dataproc_cluster='smoke-cluster-{{ ds_nodash }}',
    gcp_conn_id='google_cloud_default',
    region='global'
)

如何访问＆＃34;参数＆＃34;的值？主文件中的属性＆＃34; gs：//dataprocessing_scripts/testArg.py" ？

Answer 1

您必须使用 sys.argv[1],sys.argv[2] sys.argv[0] 将是文件名本身 而 sys.argv[1] 将是“2018-05-07” 还有别忘了导入系统