Question

我正在阅读一个具有'%d/%m/%Y'日期格式的大文本文件。我想使用sqldf的read.csv.sql来按日期同时读取和过滤数据。这是为了通过跳过我不感兴趣的许多日期来节省内存使用和运行时间。我知道如何在dplyr和lubridate的帮助下执行此操作，但我只想尝试使用{ {1}}出于上述原因。尽管我对SQL语法非常熟悉，但它仍然在大多数情况下都是我，sqldf也不例外。

如下所示的运行命令返回了一个带有0行的data.frame：

sqldf

因此，对于模拟，我尝试使用first_date <- "2001-11-1" second_date <- "2003-11-1" query <- "select * from file WHERE strftime('%d/%m/%Y', Date, 'unixepoch', 'localtime') between '$first_date' AND '$second_date'" df <- read.csv.sql(data_file, sql= query, stringsAsFactors=FALSE, sep = ";", header = TRUE)函数，如下所示：

sqldf

Answer 1

带有百分比代码的

strftime strftime用于将已被sqlite视为日期时间的对象转换为其他内容，但您希望反向，因此问题中的方法不会工作。例如，这里我们将当前时间转换为dd-mm-yyyy字符串：

library(sqldf)
sqldf("select strftime('%d-%m-%Y', 'now') now")
##          now
## 1 07-09-2014

讨论由于SQlite缺少日期类型，因此处理此问题有点麻烦，特别是对于1位或2位非标准日期格式，但如果您真的想使用SQLite我们可以通过繁琐地解析日期字符串来做到这一点。使用gsubfn包中的fn$进行字符串插值可以减轻这一点。

代码低于zero2d输出SQL代码，如果其一位数，则在其输入前加上零字符。 rmSlash输出SQL代码以删除其参数中的任何斜杠。 Year，Month和Day每个输出SQL代码以获取表示正在讨论的格式的日期的字符串，并提取指示的组件，将其重新格式化为2位零填充字符串Month和Day的情况。 fmtDate获取问题中显示的first_string和second_string形式的字符串，并输出yyyy-mm-dd个字符串。

library(sqldf)
library(gsubfn)

zero2d <- function(x) sprintf("substr('0' || %s, -2)", x)

rmSlash <- function(x) sprintf("replace(%s, '/', '')", x)

Year <- function(x) sprintf("substr(%s, -4)", x)

Month <- function(x) {
   y <- sprintf("substr(%s, instr(%s, '/') + 1, 2)", x, x)
   zero2d(rmSlash(y))
}

Day <- function(x) {
   y <- sprintf("substr(%s, 1, 2)", x)
   zero2d(rmSlash(y))
}

fmtDate <- function(x) format(as.Date(x))

sql <- "select * from df2 where 
  `Year('Date')` || '-' || 
  `Month('Date')` || '-' || 
  `Day('Date')`
  between '`fmtDate(first_date)`' and '`fmtDate(second_date)`'"
fn$sqldf(sql)

，并提供：

       Date
1 1/11/2001
2 1/12/2002
3 1/11/2003

备注

1）使用的SQLite函数 instr，replace和substr是核心sqlite函数

2）SQL fn$执行替换后执行的实际SQL语句如下（稍微重新格式化以适应）：

> cat( fn$identity(sql), "\n")
select * from df2 where 
  substr(Date, -4) 
  || '-' || 
  substr('0' || replace(substr(Date, instr(Date, '/') + 1, 2), '/', ''), -2) 
  || '-' || 
  substr('0' || replace(substr(Date, 1, 2), '/', ''), -2)
  between '2001-11-01' and '2003-11-01'

3）并发症来源主要并发症是非标准的1或2位数日和月。如果他们一直是2位数，那么它将减少到这个：

first_date <- "2001-11-01"
second_date <- ""2003-11-01"

fn$sqldf("select Date from df2 
   where substr(Date, -4) || '-' || 
         substr(Date, 4, 2) || '-' ||
         substr(Date, 1, 2)
   between '`first_date`' and '`second_date`' ")

4）H2 这是H2溶液。 H2确实有一个日期时间类型，大大超过了SQLite，简化了解决方案。我们假设数据位于名为mydata.dat的文件中。请注意read.csv.sql不支持H2，因为H2已经具有内部csvread SQL函数来执行此操作：

library(RH2)
library(sqldf)

first_date <- "2001-11-01"
second_date <- "2003-11-01"

fn$sqldf(c("CREATE TABLE t(DATE TIMESTAMP) AS
  SELECT parsedatetime(DATE, 'd/M/y') as DATE
  FROM CSVREAD('mydata.dat')", 
  "SELECT DATE FROM t WHERE DATE between '`first_date`' and '`second_date`'"))

请注意，第一个RH2查询在会话中会很慢，因为它会加载java。之后，您可以尝试一下，看看性能是否足够。

sqldf：按日期范围查询数据

1 个答案: