Question

我想过滤一个postgres数据库，这样我就可以将一部分数据带入R进行分析。我可以通过单个条件（选择一个featureid）成功过滤，但不能通过值向量过滤。例如，如果我设置了与数据库的连接

library(dplyr)
db <- src_postgres(dbname = 'conte_dev', host = '155.0.0.x', port = '1234', user = '...', password = '...')
tbl_daymet <- tbl(db, 'daymet')

然后，如果我过滤到单个值

，它就有效

  tbl_filtered <- tbl_daymet %>%
    dplyr::filter(featureid == 739554)

tbl_filtered

Source: postgres 9.3.5 [conte@127.0.0.1:5432/conte_dev]
From: daymet [12,410 x 9]
Filter: featureid == 739554 

   featureid       date     tmax     tmin  prcp    dayl  srad  vp   swe
1     739554 1980-01-18  -1.9375 -12.2500 0.000 32140.8 199.6 240 100.5
2     739554 1980-01-19   1.1250  -3.4375 0.000 32140.8 100.4 480  99.0
3     739554 1980-01-20   0.0000  -7.5000 0.000 32486.4 160.4 360  99.0
4     739554 1980-01-21  -6.5000 -15.7500 0.000 32486.4 193.6 180  99.0
5     739554 1980-01-22 -11.8125 -18.7500 0.000 32486.4 156.8 140  99.0
6     739554 1980-01-23  -6.4375 -16.5000 3.000 32832.0 157.2 160 102.5
7     739554 1980-01-24  -6.8750 -19.0000 3.125 32832.0 178.0 120 105.0
8     739554 1980-01-25 -15.0000 -23.0625 0.000 32918.4 184.4  80 105.0
9     739554 1980-01-26  -9.9375 -20.7500 0.000 33177.6 229.2 120 105.0
10    739554 1980-01-27  -7.0625 -15.9375 0.000 33177.6 202.4 165 105.0
..       ...        ...      ...      ...   ...     ...   ... ...   ...

但是，如果我尝试过滤到featureid

中的一组值

catches <- c(739554, 739554)
tbl_derived_metrics <- tbl_daymet %>%
    dplyr::filter(featureid %in% catches)

我收到错误

postgresqlExecStatement（conn，statement，...）出错：RS-DBI 驱动程序:(无法检索结果：错误：语法错误在或靠近＆＃34; 739554＆＃34;第3行：在哪里＆＃34; featureid＆＃34; IN 739554 ^）另外：警告消息：在postgresqlQuickSQL（conn，statement，...）：无法创建 executeSELECT count（*）FROM（SELECT＆＃34; featureid＆＃34;，＆＃34; date＆＃34;，＆＃34; tmax＆＃34;，＆＃34; tmin＆＃34;，＆＃34; prcp＆＃34;，＆＃34; dayl＆＃34;，＆＃34; srad＆＃34;，＆＃34; vp＆＃34;，＆＃34; swe＆＃34;来自＆＃34; daymet＆＃34;哪里＆＃34; FEATUREID＆＃34; IN 739554）AS＆＃34; master＆＃34;

我相信如果它是R中的数据框而不是postgres中的链接表，这将有效。但是，我需要先进行过滤，因为该表包含几十亿行。我可以使用与postgres相关的特殊命令吗？无论我使用字符还是整数，当前代码都不起作用。

Answer 1

在%in%函数中使用filter如果它们只是一个值而不是具有多个值的向量，则不起作用。

对于具有1个或更多值的情况，它作为具有ifelse语句的函数。

retreiveDaymet <- function(catchmentid, num.catch) {
  catches <- catchmentid[1:num.catch]
  if(num.catch == 1) {
    tbl_derived_metrics <- tbl_daymet %>%
      dplyr::filter(featureid == catches)
  } else {
    tbl_derived_metrics <- tbl_daymet %>%
    dplyr::filter(featureid %in% catches)
  }

  derived_metrics <- collect(tbl_derived_metrics)
  return(derived_metrics)
}

然后可以这样使用

catchment.numbers <- rep(c(1, 10, 50, 100, 200, 400, 800, 1000, 1500, 2000, 2500, 3000), each = 3)
daymet.times <- data.frame(matrix(NA, length(catchment.numbers), 4))
for(i in 1:length(catchment.numbers)) {
  time1 <- system.time(foo <- retreiveDaymet(catchmentid = catchmentid, num.catch = catchment.numbers[i]))
  daymet.times[i, ] <- c(catchment.numbers[i], time1[1:3])
  rm(foo)
  rm(time1)
  gc(verbose = FALSE)
}
names(daymet.times) <- c("num.catchments", names(system.time(1+1))[1:3])

这个例子有点傻，因为每次都会抛弃foo。这仅用于计时目的。将来，此代码可以添加一个函数，每次都使用foo执行某些操作，并将其附加到数据框或列表中。

使用dplyr过滤postgreSQL数据库中的多个值

1 个答案: