创建用于加载历史记录的SparkSession的最佳位置

时间:2018-07-26 13:17:35

标签: apache-spark apache-spark-sql

我有一个火花作业,需要运行以进行历史记录处理,我正在使用类似

(0 to arg) foreach (i => runSparkJob(i))

对于这种工作,每次创建一个SparkSession会更好还是一个Session可以处理重复运行? (runSparkJob(i)通过隐式获取SparkSession)

0 个答案:

没有答案