我搜索什么样的目录来寻找spark中的mapreduce源代码？

Question

我正在研究mapreduce和spark，我很好奇mapreduce如何工作。因此，我在＆＃39; https://github.com/apache/spark＆＃39;中搜索，但在观看该网站时，我无法获得有关我应该搜索哪个目录以查看mapreduce源代码的任何线索。

我的意思是在下面的代码中，有.flatMap（）,. map（）和.reduceByKey（）函数。当然，我想看看有关这些功能的源代码。

val textFile = sc.textFile("hdfs://...")
val counts = textFile.flatMap(line => line.split(" "))
                 .map(word => (word, 1))
                 .reduceByKey(_ + _)
counts.saveAsTextFile("hdfs://...")

谢谢

Answer 1

Spark中的基本抽象是RDD。如果您查看core/src/main/scala/org/apache/spark/rdd/RDD.scala，可以找到map()，flatMap()和filter()等。

但他们并不十分令人兴奋。