Question

所以我是Scala和Spark的新手，所以这可能是一个愚蠢的问题...... 我有以下代码：

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._

val df = sc.parallelize(List(1,2,3)).toDF();
df.foreach( value => println( value(0) + value(0) ) );

error: type mismatch;
 found   : Any
 required: String

它出了什么问题？我如何判断“这是一个整数而不是任何整数”？我尝试了值（0）.toInt，但“值toInt不是Any的成员”。我尝试过List（1：Integer，2：Integer，3：Integer），但之后我无法转换成数据帧......

Answer 1

Spark Row是一个无类型的容器。如果您想提取除Any以外的任何内容，则必须在Row上使用类型化提取器方法或模式匹配（请参阅Spark extracting values from a Row）：

df.rdd.map(value => value.getInt(0) + value.getInt(0)).collect.foreach(println)

在实践中，应该有理由提取这些值。相反，您可以直接在DataFrame：

上操作

df.select($"_1" + $"_1")

在Scala / Spark中添加两个数据帧整数值

1 个答案: