dplyr copy_to大数据

时间:2017-07-10 15:02:01

标签: r dplyr sparklyr

嗨,我想知道。

  1. 使用dplyr将大数据复制到sql数据库的最佳方法是什么?
  2. copy_to因数据大于内存而失败。我正在使用代码:

    library(DBI)
    library(dplyr)
    
    
    db <- dbConnect(
      RPostgreSQL::PostgreSQL(),
      dbname = "postgres",
      host="localhost",
      user="user",
      password="password")
    
    
    Data<-rio::import("Data/data.feather")
    Data <- copy_to(db, Data,temporary=FALSE)
    

    这会导致错误:

    Error in postgresqlExecStatement(conn, statement, ...) : 
      RS-DBI driver: (could not Retrieve the result : ERROR:  out of memory
    DETAIL:  Cannot enlarge string buffer containing 0 bytes by 1305608043 more bytes.
    )
    
    1. 有没有办法在不必先导入数据的情况下执行此操作?
    2. 有没有办法做到这一点虽然闪闪发光,因为它只使用一个核心?

0 个答案:

没有答案