SparkContext Scala SourceCode:textFile方法中“withScope”返回类型的功能是什么

时间:2016-03-25 04:28:27

标签: scala apache-spark rdd

我正在学习Spark。在学习的过程中,我同时浏览了用Scala编写的源代码(这样有助于理解scala)。 我检查了源代码,用于从“textFile”读取数据:“core / src / main / scala / org / apache / spark / SparkContext.scala”。我看到有人提到“withScope”,即

def textFile(       路径:字符串,       minPartitions:Int = defaultMinPartitions):RDD [String] = withScope { ......}

我检查了“/core/src/main/scala/org/apache/spark/rdd/RDDOperationScope.scala”下的“withScope”实现,但我无法清楚地了解“withScope”来自源代码。

请帮助我理解“withScope”对示例的作用或重定向到有助于我了解其功能的来源?

由于

0 个答案:

没有答案