我有一个由spark-shell创建的Spark会话,另一个由我的代码创建的spark会话。(通过jar导入到spark-shell中)
是否可以比较两个Spark会话的会话ID?
我知道我们可以通过spark.SparkContext.applicationId获取applicationId。
sessionid和applicationId是否相同?我以为applicationId与spark作业相关联。(作业的唯一标识符)
有什么办法可以获取Spark Session ID?
答案 0 :(得分:0)
您可以尝试一下。我找不到任何方法来获取sparksession ID,但是您可以比较spark session 您可以参考
https://www.waitingforcode.com/apache-spark-sql/multiple-sparksession-one-sparkcontext/read