如何使用Sparklyr进行R副本中的多个工作表读取具有多个工作表的多个xlsx文件进行分析?

时间:2019-05-06 17:26:31

标签: excel sparklyr

我在一个文件夹中有多个带有多个工作表(具有不同行)的xlsx文件,我想使用R将所有xlsx文件的所有工作表(大约65,000加x每个工作表6个)读取到单个数据帧中并复制这引发了数据分析。有没有更好的办法?谢谢

〜     图书馆(sparklyr)     图书馆(tidyverse)     库(readxl)

sc<-spark_connect(master='local')

dg<-data_frame(
path=list.files(path="~/filetoxlsx/",pattern=".xlsx",
full.names=T)) %>%
mutate(sheets=map(path,excel_sheets)) %>%
unnest(sheets) %>% 
mutate(data=map2(path,sheets, ~ read_excel(path=.x,sheet.y)))

正在加载火花

Sp_df <-sdf_copy_to(sc,dg,“ spark_table”,overwrite = TRUE)

我是新来的人,要提前致谢。

错误:java.lang.illegalargumentsexception:无效的类型列表。

0 个答案:

没有答案