Question

 // 4 workers
  val sc = new SparkContext("local[4]", "naivebayes")

  // Load documents (one per line).
  val documents: RDD[Seq[String]] = sc.textFile("/tmp/test.txt").map(_.split(" ").toSeq)

  documents.zipWithIndex.foreach{
  case (e, i) =>
  val collectedResult = Tokenizer.tokenize(e.mkString)
  }

  val hashingTF = new HashingTF()
  //pass collectedResult instead of document
  val tf: RDD[Vector] = hashingTF.transform(documents)

  tf.cache()
  val idf = new IDF().fit(tf)
  val tfidf: RDD[Vector] = idf.transform(tf)

在上面的代码片段中，我想提取collectResult以将其重用于hashingTF.transform，如何在tokenize函数的签名为

的情况下实现

 def tokenize(content: String): Seq[String] = {
...
}

Answer 1

您希望map而不是foreach。我不了解您使用zipWithIndex的内容，也不知道为什么您在线路上调用split只是为了让他们直接加入mkString }。

val lines: Rdd[String] = sc.textFile("/tmp/test.txt")
val tokenizedLines = lines.map(tokenize)
val hashes = tokenizedLines.map(hashingTF)
hashes.cache()
...

将scala字符串转换为RDD [seq [string]]

1 个答案: