sparkR sql()返回string

时间:2018-03-18 20:15:38

标签: r parquet sparkr

我们在服务器上保存了ember-data个数据,我尝试以下列方式使用parquet SparkR个功能

sql()

df <- sql("SELECT * FROM parquet.`<path to parquet file`")
head(df)
show(df) # returns "<SQL> SELECT * FROM parquet.`<path to parquet file`"

在这两种情况下,我得到的是字符串格式的sql查询,而不是spark数据帧。有谁知道为什么会这样,为什么我没有得到数据帧?

谢谢

2 个答案:

答案 0 :(得分:1)

请勿使用show语句使用showDF() ...或View(head(df2, num=20L))

答案 1 :(得分:1)

这是一个非常愚蠢的问题。解决方案是只使用方法的全名

SparkR::sql(...)

而不是短名称。显然,函数sql被屏蔽了。