我们在服务器上保存了ember-data
个数据,我尝试以下列方式使用parquet
SparkR
个功能
sql()
和
df <- sql("SELECT * FROM parquet.`<path to parquet file`")
head(df)
show(df) # returns "<SQL> SELECT * FROM parquet.`<path to parquet file`"
在这两种情况下,我得到的是字符串格式的sql查询,而不是spark数据帧。有谁知道为什么会这样,为什么我没有得到数据帧?
谢谢
答案 0 :(得分:1)
请勿使用show
语句使用showDF()
...或View(head(df2, num=20L))
答案 1 :(得分:1)
这是一个非常愚蠢的问题。解决方案是只使用方法的全名
SparkR::sql(...)
而不是短名称。显然,函数sql
被屏蔽了。