从spark中删除字符串中的停用词

Question

您好我想从Spark中的字符串中删除停用词。

说我输入字符串＆＃34; Hello-people＆＃34; ，然后我希望输出为（hello people），但我得到的是（hellopeople）

我的代码是：

def processLine(s: String, stopWords: Set[String]): Seq[String] = {   
  s.replaceAll("[^a-zA-Z ]", "").toLowerCase().split("\\s+")
  s.filter(!stopWords.contains(_))
  s.toSeq
}

Answer 1

试试这个：

MetadataPropertyHandling

在replaceAll中只有一个变化，＆＃34; ＆＃34;而不是＆＃34;＆＃34;