Spark转换列表到数据帧错误：不支持类型为Any的架构

Question

我尝试通过执行以下操作来创建数据框：

val df = Seq(
    ("tom", 25),
    ("andy", null)
).toDF("user", "rating")

但是我收到错误＃34;类型为Any的Schema不支持＆＃34;。 我认为评级栏引起了问题。

我希望评分栏为

integer (nullable=true)

但我不确定如何实现

Answer 1

您可以使用Option：

Seq(
  ("tom", Some(25)),
  ("andy", None)
).toDF("user", "rating")

您还可以更具体地了解类型并使用java.lang.Integer：

Seq[(String, java.lang.Integer)](
  ("tom", 25),
  ("andy", null)
).toDF("user", "rating")

但应首选第一种方法。