scala spark -count来自文件的偶数

Question

我是大数据世界的新手。需要你的帮助才能让它变得真实。我的问题就在于此 我正在从txt文件（1,2,3,4,4,4,4）

中读取数据

var file=sc.textFile("file:///home/cloudera/MyData/Lab1/numbers.txt")
var number=file.flatMap(line=>line.split(","))
var intNumbers=number.map(num=>num.toInt)//Error
intNumbers.collect()

  

java.lang.NumberFormatException：对于输入字符串：＆＃34;＆＃34;

由于数组的最后一个元素无法转换为Int

，

错误即将发生

请帮忙 在此先感谢。

此致 学习星火

Answer 1

在转换为Integer之前，您已经过滤了空字符串。

var file=sc.textFile("file:///home/cloudera/MyData/Lab1/numbers.txt")
var number=file.flatMap(line=>line.split(",")).filter(num => num != "")
var intNumbers=number.map(num=>num.toInt)//Error
intNumbers.collect()