无法访问Spark数据帧方法

时间:2017-04-14 08:53:25

标签: scala apache-spark apache-zeppelin

在Zeppelin中,我使用的是另一段中创建的数据帧。我显示了我的df变量的类型并得到:

res35: String = DataFrame

建议它是一个数据帧。但是当我尝试在df变量上使用select时,我得到一个错误:

<console>:62: error: value select is not a member of Object

我是否必须将Object转换为Dataframe或其他什么?有人能告诉我我错过了什么吗? TIA!

我的代码是:

val df = z.get("wds")                           
df.getClass.getSimpleName
df.select(explode($"filtered").as("value")).groupBy("value").count.show

这给出了以下(编辑过的)输出:

 df: Object = [racist: boolean, contributors: 
string, coordinates: string, ...n: Int = 20
    res35: String = DataFrame
    <console>:62: error: value select is not a member of Object
                  df.select(explode($"filtered").as("value")).groupBy("value").count.show

1 个答案:

答案 0 :(得分:0)

似乎我不见了

.asInstanceOf[DataFrame]

import org.apache.spark.sql.DataFrame
val df = z.get("wds").asInstanceOf[DataFrame]