如何在Java中获取Spark执行器的工作目录?

时间:2017-10-02 21:13:45

标签: hadoop apache-spark

我需要知道Spark执行器的当前工作目录URI / URL,这样我就可以在执行作业之前复制一些依赖项。我如何使用Java?我应该打电话给什么api?

1 个答案:

答案 0 :(得分:1)

工作目录是特定于应用程序的,因此您希望能够在应用程序启动之前获取它。最好使用标准的Spark机制:

  • --jars / spark.jars - 适用于JAR文件。
  • pyFiles - 用于Python依赖项。
  • SparkFiles / --files / --archives - 其他一切