Question

我正在尝试在以下语句中使用collectAsMap()：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.rdd.RDD
...
documents_input.
  filter(_ != documents_header).
  map(_.split(",")).
  map(Document.parse(_)).
  keyBy((_.id)).collectAsMap()

但是我收到以下错误：

value collectAsMap is not a member of org.apache.spark.rdd.RDD[(Int, `com.codependent.MyApp.Document)]`

知道为什么或如何将数组转换为地图？

Answer 1

在Ram Ghadiyaram建议更新导入后修复：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.rdd.RDD

Answer 2

这取决于您阅读SELECT labId FROM test_lab_mapping WHERE testId = 1 JOIN SELECT labId FROM test_lab_mapping WHERE testId = 2 JOIN SELECT labId FROM test_lab_mapping WHERE testId = 3 ... etc USING (labId)的方式。如果您使用documents_input阅读，那么您应该可以使用sparkContext。但是，如果您已将collectAsMap视为documents_input或任何其他Source，则scala api将无法执行此操作。在这种情况下，您可以使用collectAsMap

value collectAsMap不是org.apache.spark.rdd.RDD的成员

2 个答案: