如何在PySpark作业中检索Dataproc的jobId

时间:2016-04-10 07:24:39

标签: google-cloud-dataproc

我运行了几个批处理作业,我想从dataproc引用jobId到保存的输出文件。

这将允许将参数和输出的所有日志与结果相关联。下行仍然存在:作为YARN过去的遗嘱执行人,不再能获得单一遗嘱执行人的记录。

1 个答案:

答案 0 :(得分:4)

Google dataproc的上下文通过使用标记传递到Spark作业。因此,所有合适的信息都存在于SparkConfig中,可以访问:

pyspark.SparkConf().get("spark.yarn.application.tags", "unknown")
pyspark.SparkConf().get("spark.yarn.tags", "unknown")

输出如下所示:

dataproc_job_3f4025a0-bce1-a254-9ddc-518a4d8b2f3d

然后可以将该信息分配给我们的导出文件夹,并使用Dataproc参考保存输出:

df.select("*").write. \
    format('com.databricks.spark.csv').options(header='true') \
    .save(export_folder)