在spark中，参数“minPartitions”在SparkContext.textFile（path，minPartitions）中起什么作用？

Question

在Spark中，SparkContext或JavaSparkContext， 调用sc.textFile时，有一个参数是minPartitions。这个参数意味着什么？

Answer 1

minPartitions将传递给Hadoop的InputFormat.getSplits。该参数是提示，因此您可能会获得更多或更少的分区，具体取决于Hadoop InputFormat实现。