使用Spark中的Scala计算文件中的引号数

时间:2015-11-04 03:45:03

标签: scala apache-spark

我使用Spark和Scala作为语言。我正在尝试读取文件并计算其中的空格和引号数。我得到了正确的空间输出,但文件中的引号数不正确。表达是否正确?

val file = sc.textFile("file:///Users/Desktop/test/employee.txt")
1) val space = file.filter(line => line.contains(" ")).count() --O/P = 2
2) val counter = file.filter(line => line.contains('"')).count() - Wrong Output

      File :
     "abc","def","xyc","asas", "esd"
      "343","32","234","11", "RE"

1 个答案:

答案 0 :(得分:2)

看起来两个表达都不正确。如果我找到了你的权利,你想要所有空格和引号,但你的代码计算有空格/引号的行数。

还有一个问题:使用' \"'而不是'''

修正:

val space = file.map(line => line.count(_==' ')).sum()
val counter = file.map(line => line.count(_=='\"')).sum()