Question

我的问题归结为：Sparklyr与str R命令等效吗？

我正在使用Sparklyr包从R中打开一个大表（来自文件），称为Spark my_table。

如何描述表格？列名和类型，一些示例等

事先道歉，这必须是一个非常基本的问题，但我确实进行了搜索，并检查了Rstudio的Sparklyr备忘单，但没有找到答案。

Answer 1

让我们使用mtcars数据集并将其移至本地spark实例，以用于示例目的：

library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
tbl_cars <- dplyr::copy_to(sc, mtcars, "mtcars")

现在您有很多选择，这里有2个，每一个都略有不同-根据您的需求进行选择：

1。将第一行收集到R中（现在它是一个标准的R数据帧）并查看str：

 str(tbl_cars %>% head(1) %>% collect())

2。调用schema方法并查看结果：

spark_dataframe(tbl_cars) %>% invoke("schema")

这将给出类似的内容：

StructType(StructField(mpg,DoubleType,true), StructField(cyl,DoubleType,true), StructField(disp,DoubleType,true), StructField(hp,DoubleType,true), StructField(drat,DoubleType,true), StructField(wt,DoubleType,true), StructField(qsec,DoubleType,true), StructField(vs,DoubleType,true), StructField(am,DoubleType,true), StructField(gear,DoubleType,true), StructField(carb,DoubleType,true))

等效于使用sparklyr的火花表的“ str（）”（描述数据帧）

1 个答案: