从scala中的地图中删除空字符串

Question

val lines: RDD[String] = sc.textFile("/tmp/inputs/*")
val tokenizedLines = lines.map(Tokenizer.tokenize)

在上面的代码片段中，tokenize函数可能返回空字符串。在这种情况下，如何跳过将其添加到地图中？或添加到地图后删除空条目？

Answer 1

tokenizedLines.filter(_.nonEmpty)

Answer 2

使用filter和nonEmpty的当前接受的答案会导致一些性能下降，因为nonEmpty不是String上的方法，而是通过隐式添加转换。使用值对象时，我希望差异几乎难以察觉，但在Scala的版本中，情况并非如此，这是一个重大的打击。

相反，人们可以使用它，确保更快：

tokenizedLines.filterNot(_.isEmpty)

Answer 3

您可以将flatMap与Option一起使用。

类似的东西：

lines.flatMap{
     case "" => None 
     case s => Some(s)
}

Answer 4

val tokenizedLines = (lines.map(Tokenizer.tokenize)).filter(_.nonEmpty)