当使用spark2-submit提交pyspark时,一次不能创建1000个以上的分区

时间:2018-07-10 20:18:28

标签: pyspark-sql apache-spark-2.0

使用spark2-submit提交pyspark时,一次不能创建1000个以上的分区。我将最大动态分区定义为10000,但仍然从某个地方引用了1000。

0 个答案:

没有答案