增加Spark并行度

时间:2019-01-07 14:56:30

标签: apache-spark

我想增加我的Scala Spark工作的并行性。但是,我对“ spark.default.parallelism”与df.repartition(n)的选择感到困惑

两者之间有什么区别?

df = spark.read.txt("sample/demo.txt")

0 个答案:

没有答案