我经常在dplyr中对数据进行替换时替换数据,尤其是在处理大型数据集时。当我使用SQL支持的数据集时,我不确定如何优雅地执行此操作,至少不使用SQLite。
我无法在dplyr数据库插图或SO中找到关于此目标的任何讨论,这也让我想知道我首先做的事情是否有问题;但是,它似乎是处理大型数据集的一种自然方式。
无论如何,最直观的方法不起作用:
library(dplyr)
library(RSQLite)
db2 <- src_sqlite("trouble.sqlite", create = TRUE)
trouble <- data.frame(values = c(5, 1, 3))
trouble.db <- copy_to(db2, trouble, temporary = FALSE)
collect(trouble.db) # 5, 3, 1
trouble.db <- trouble.db %>% arrange(values)
collect(trouble.db) # 1, 3, 5
trouble.in <- tbl(db2, sql("SELECT * from trouble"))
collect(trouble.in) # 5, 3, 1
就地复制的另一种直观语法使得&#34;表已经存在&#34;错误:
trouble.db <- copy_to(db2, as.data.frame(trouble.db), name="trouble", temporary = FALSE)
一种解决方案是手动删除表并重建它,这就是我一直在做的事情:
db2$con %>% db_drop_table(table = "trouble")
trouble <- collect(trouble.db)
trouble.db <- copy_to(db2, trouble, temporary = FALSE)
另一个是放弃替换并创建一系列临时表,我发现这些表并不美观,但我认为这可能是推荐的范例:
trouble_temp <- data.frame(values = c(5, 1, 3))
trouble_temp.db <- copy_to(db2, trouble_temp, temporary = TRUE)
trouble <- trouble.db %>% arrange(values)
trouble.db <- copy_to(db2, trouble, temporary = FALSE)
我怀疑&#34;放弃并重新复制&#34;最终会成为答案,但出于对美丽解决方案的热爱,我想我会问是否有更好的方法。
答案 0 :(得分:1)
对于今年后发现的人。
声明
trouble.db %>% arrange(values)
创建一个SQL查询,该查询将发送到数据库并在您collect
结果时执行。
我们可以看到这样的SQL
trouble.db %>% arrange(values) %>% show_query()
SELECT *
FROM `trouble`
ORDER BY `values`
很显然,这样的查询无法修改其查询的实际数据。
要修改数据,我们可以使用dbWriteTable
包中的DBI
函数
library(dplyr)
library(RSQLite)
# Will use this connection object for all our DB interactions
con <- DBI::dbConnect(RSQLite::SQLite(), dbname = ":memory:")
trouble <- data.frame(values = c(5, 1, 3))
trouble.db <- copy_to(con, trouble, temporary = FALSE)
collect(trouble.db) # 5, 3, 1
# This is just a query
trouble.db <- trouble.db %>% arrange(values)
collect(trouble.db) # 1, 3, 5
# The data shouldn't be modified yet
trouble.in <- tbl(con, sql("SELECT * from trouble"))
collect(trouble.in) # 5, 3, 1
# Now we are modifying the data
DBI::dbWriteTable(
con, "trouble", collect(trouble.db),
overwrite = TRUE
)
tbl(con, sql("SELECT * from trouble")) %>% collect() # 1, 3, 5