如何将SQL转换为Spark数据集？

Question

我有一个Val test = sql（“从表1中选择*”），它返回一个数据帧。我想将其转换为无效的数据集。 test.toDS抛出错误。

Answer 1

请提供有关该错误的更多详细信息。

如果要转换数据集中的数据框，请使用以下代码：

case class MyClass(field1: Int, field2: Long) // for example

val df = sql ("Select * from table1)
val ds : Dataset[MyClass] = df.as[MyClass]