Eclipse Autocomplete不建议使用Spark / Scala中的方法

Question

我是Scala＆amp; amp;的新手编写一个单词计数程序，使用Spark API查找文件中每个唯一单词的出现次数。在下面找到代码

val sc = new SparkContext(conf)

//Load Data from File
val input = sc.textFile(args(0))

//Split into words
val words = input.flatMap { line => line.split(" ") }

//Assign unit to each word
val units = words.map { word => (word, 1) }

//Reduce each word
val counts = units.reduceByKey { case (x, y) => x + y }
...

尽管Application编译成功，但我遇到的问题是，当我在Eclipse中键入units.时，自动完成并不是建议方法reduceByKey。对于其他功能，自动完成功能非常完美。这有什么特别的原因吗？

Answer 1

这可能是因为reduceByKey只能通过implicit获得。该方法不在RDD上，而在PairRDDFunctions上。我原以为隐含的自动完成功能正在日食中运行......但我猜这是你的问题。您可以通过在PairRDDFunctions

中明确包装单位进行验证