如何在Spark中编写程序来替换单词

Question

Hadoop很容易使用.replace()例如

String[] valArray = value.toString().replace("\N", "")

但它在Spark中不起作用，我在Spark-shell中编写Scala，如下所示

val outFile=inFile.map(x=>x.replace("\N",""))

那么，如何应对呢？

Answer 1

由于某种原因，您的x是Array[String]。你是怎么得到那样的？如果你愿意，你可以.toString.replace，但这可能不会得到你想要的东西（并且无论如何都会在java中给出错误的输出）;你可能想做另一层地图，inFile.map(x => x.map(_.replace("\N","")))