Question

是否可以列出已添加到spark会话中的spark包？

类org.apache.spark.deploySparkSubmitArguments有一个包的变量：

var packages: String = null

假设这是一个spark包列表，可以通过SparkContext或其他地方获得吗？

Answer 1

我使用以下方法检索该信息：spark.sparkContext.listJars

例如：
$ spark-shell --packages elsevierlabs-os:spark-xml-utils:1.4.0

scala> spark.sparkContext.listJars.foreach(println)
spark://192.168.0.255:51167/jars/elsevierlabs-os_spark-xml-utils-1.4.0.jar
spark://192.168.0.255:51167/jars/commons-io_commons-io-2.4.jar
spark://192.168.0.255:51167/jars/commons-logging_commons-logging-1.2.jar
spark://192.168.0.255:51167/jars/org.apache.commons_commons-lang3-3.4.jar
spark://192.168.0.255:51167/jars/net.sf.saxon_Saxon-HE-9.6.0-7.jar

在这种情况下，我加载了spark-xml-utils包，其他jar作为依赖项加载。

如何列出添加到spark上下文的spark-packages？

1 个答案: