直接从R脚本读取Excel文件

时间:2011-05-23 15:18:09

标签: excel r r-faq

如何直接将Excel文件读入R?或者我应该首先将数据导出到文本或CSV文件并将该文件导入R?

12 个答案:

答案 0 :(得分:48)

让我重申@Chase建议的内容:使用XLConnect

在我看来,使用XLConnect的原因是:

  1. 跨平台。 XLConnect是用Java编写的,因此可以在Win,Linux,Mac上运行而不需要更改R代码(可能的路径字符串除外)
  2. 无需加载任何其他内容。只需安装XLConnect并继续生活。
  3. 您只提到了阅读Excel文件,但XLConnect也会编写Excel文件,包括更改单元格格式。它将通过Linux或Mac实现,而不仅仅是Win。
  4. 与其他解决方案相比,XLConnect有点新鲜,因此在博客文章和参考文档中不常提及它。对我来说这非常有用。

答案 1 :(得分:43)

现在有readxl

  

readxl包使得从Excel和R中获取数据变得容易。   与现有的包相比(例如gdata,xlsx,xlsReadWrite等)   readxl没有外部依赖关系,所以很容易安装和使用   所有操作系统。它旨在处理存储的表格数据   在一张纸上。

     

readxl建立在libxls C库之上,它抽象了   基础二进制格式的许多复杂性。

     

它支持传统的.xls格式和.xlsx

     

可以从CRAN获得readxl,或者您可以使用以下命令从github安装它:

# install.packages("devtools")
devtools::install_github("hadley/readxl")

用法

library(readxl)

# read_excel reads both xls and xlsx files
read_excel("my-old-spreadsheet.xls")
read_excel("my-new-spreadsheet.xlsx")

# Specify sheet with a number or name
read_excel("my-spreadsheet.xls", sheet = "data")
read_excel("my-spreadsheet.xls", sheet = 2)

# If NAs are represented by something other than blank cells,
# set the na argument
read_excel("my-spreadsheet.xls", na = "NA")

请注意,虽然说明中没有“没有外部依赖关系”,但它确实需要Rcpp package,而{{3}}又需要Rtools(对于Windows)或Xcode(对于OSX), R之外的依赖关系。虽然很多人出于其他原因安装了它们。

答案 2 :(得分:39)

是。见the relevant page on the R wiki。简短的回答:来自read.xls包的gdata大部分时间都在工作(虽然你需要在你的系统上安装Perl - 在MacOS和Linux上通常都是正确的,但在Windows上需要额外的一步,即见http://strawberryperl.com/)。 R维基页面上列出了各种警告和替代方案。

我看到不直接这样做的唯一原因是你可能想要检查电子表格以查看它是否有毛刺(奇怪的标题,多个工作表[你一次只能读一个,尽管你显然可以循环他们所有],包括情节等)。但对于格式良好的矩形电子表格,其中包含普通数字和字符数据(即,不是逗号格式的数字,日期,具有被零除错误的公式,缺失值等等。)我一般都没有问题通过这个过程。

答案 3 :(得分:28)

2015年10月编辑:正如其他人在此处发表评论的那样,openxlsxreadxl软件包远远快于xlsx软件包并实际设法打开较大的Excel文件(> 1500行&> 120列)。 @MichaelChirico演示readxl在首选速度时更好,openxlsx取代xlsx包提供的功能。如果您正在寻找一个包,以便在2015年阅读,编写和修改Excel文件,请选择openxlsx而不是xlsx

2015年之前:我使用了xlsxpackage。它用Excel和R改变了我的工作流程。如果我确定我想以.txt格式保存我的Excel工作表,不要再讨厌恼人的弹出窗口了。该软件包还会写入Excel文件。

但是,当打开大型Excel文件时,我发现read.xlsx功能很慢。 read.xlsx2函数速度要快得多,但是不要求data.frame列的向量类。如果使用colClasses函数,则必须使用read.xlsx2命令指定所需的列类。这是一个实际的例子:

read.xlsx("filename.xlsx", 1)读取您的文件并使data.frame列类几乎有用,但对于大型数据集来说非常慢。也适用于.xls个文件。

read.xlsx2("filename.xlsx", 1)速度更快,但您必须手动定义列类。一个快捷方式是运行命令两次(参见下面的示例)。 character规范会将您的列转换为因子。使用DatePOSIXct选项获取时间。

coln <- function(x){y <- rbind(seq(1,ncol(x))); colnames(y) <- colnames(x)
rownames(y) <- "col.number"; return(y)} # A function to see column numbers

data <- read.xlsx2("filename.xlsx", 1) # Open the file 

coln(data)    # Check the column numbers you want to have as factors

x <- 3 # Say you want columns 1-3 as factors, the rest numeric

data <- read.xlsx2("filename.xlsx", 1, colClasses= c(rep("character", x),
rep("numeric", ncol(data)-x+1)))

答案 4 :(得分:22)

鉴于R中读取Excel文件的方法不尽相同而且这里有大量的答案,我想我会试着说明这里提到的哪些选项表现最好(在几个简单的情况)。

自从我开始使用xlsx以来,我自己一直在使用R,如果没有别的话,我一直在惯性,我最近注意到似乎没有关于哪个包更好用的客观信息。 / p>

任何基准测试都充满了困难,因为有些软件包肯定会比其他软件包更好地处理某些情况,以及其他一些注意事项。

那就是说,我正在使用一个(可重现的)数据集,我认为这是一种非常常见的格式(8个字符串字段,3个数字,1个整数,3个日期):

set.seed(51423)
data.frame(
  str1 = sample(sprintf("%010d", 1:NN)), #ID field 1
  str2 = sample(sprintf("%09d", 1:NN)),  #ID field 2
  #varying length string field--think names/addresses, etc.
  str3 = 
    replicate(NN, paste0(sample(LETTERS, sample(10:30, 1L), TRUE),
                         collapse = "")),
  #factor-like string field with 50 "levels"
  str4 = sprintf("%05d", sample(sample(1e5, 50L), NN, TRUE)),
  #factor-like string field with 17 levels, varying length
  str5 = 
    sample(replicate(17L, paste0(sample(LETTERS, sample(15:25, 1L), TRUE),
                                 collapse = "")), NN, TRUE),
  #lognormally distributed numeric
  num1 = round(exp(rnorm(NN, mean = 6.5, sd = 1.5)), 2L),
  #3 binary strings
  str6 = sample(c("Y","N"), NN, TRUE),
  str7 = sample(c("M","F"), NN, TRUE),
  str8 = sample(c("B","W"), NN, TRUE),
  #right-skewed integer
  int1 = ceiling(rexp(NN)),
  #dates by month
  dat1 = 
    sample(seq(from = as.Date("2005-12-31"), 
               to = as.Date("2015-12-31"), by = "month"),
           NN, TRUE),
  dat2 = 
    sample(seq(from = as.Date("2005-12-31"), 
               to = as.Date("2015-12-31"), by = "month"),
           NN, TRUE),
  num2 = round(exp(rnorm(NN, mean = 6, sd = 1.5)), 2L),
  #date by day
  dat3 = 
    sample(seq(from = as.Date("2015-06-01"), 
               to = as.Date("2015-07-15"), by = "day"),
           NN, TRUE),
  #lognormal numeric that can be positive or negative
  num3 = 
    (-1) ^ sample(2, NN, TRUE) * round(exp(rnorm(NN, mean = 6, sd = 1.5)), 2L)
)

然后我将此写入csv并在LibreOffice中打开并将其保存为.xlsx文件,然后对此线程中提到的4个软件包进行基准测试:xlsxopenxlsxreadxlgdata,使用默认选项(我还尝试了一个版本,无论我是否指定列类型,但这并没有改变排名)。

我排除RODBC,因为我在Linux上; XLConnect因为它的主要目的似乎不是在单个Excel工作表中读取,而是导入整个Excel工作簿,所以仅仅在其阅读能力上将它的马放在竞赛中似乎是不公平的;和xlsReadWrite,因为它已不再与我的R版本兼容(似乎已被淘汰)。

然后我使用NN=1000LNN=25000L(在上面data.frame的每个声明之前重置种子)运行基准测试,以允许与Excel文件大小相关的差异。 gc主要用于xlsx,我发现有时可能会造成内存堵塞。不用多说,以下是我发现的结果:

1,000行Excel文件

benchmark1k <-
  microbenchmark(times = 100L,
                 xlsx = {xlsx::read.xlsx2(fl, sheetIndex=1); invisible(gc())},
                 openxlsx = {openxlsx::read.xlsx(fl); invisible(gc())},
                 readxl = {readxl::read_excel(fl); invisible(gc())},
                 gdata = {gdata::read.xls(fl); invisible(gc())})

# Unit: milliseconds
#      expr       min        lq      mean    median        uq       max neval
#      xlsx  194.1958  199.2662  214.1512  201.9063  212.7563  354.0327   100
#  openxlsx  142.2074  142.9028  151.9127  143.7239  148.0940  255.0124   100
#    readxl  122.0238  122.8448  132.4021  123.6964  130.2881  214.5138   100
#     gdata 2004.4745 2042.0732 2087.8724 2062.5259 2116.7795 2425.6345   100

所以readxl是胜利者,openxlsx具有竞争力,gdata是明显的输家。采取相对于列最小值的每个度量:

#       expr   min    lq  mean median    uq   max
# 1     xlsx  1.59  1.62  1.62   1.63  1.63  1.65
# 2 openxlsx  1.17  1.16  1.15   1.16  1.14  1.19
# 3   readxl  1.00  1.00  1.00   1.00  1.00  1.00
# 4    gdata 16.43 16.62 15.77  16.67 16.25 11.31

我们看到自己喜欢的,xlsxreadxl慢60%。

25,000行Excel文件

由于需要花费的时间,我只在较大的文件上重复了20次,否则命令是相同的。这是原始数据:

# Unit: milliseconds
#      expr        min         lq       mean     median         uq        max neval
#      xlsx  4451.9553  4539.4599  4738.6366  4762.1768  4941.2331  5091.0057    20
#  openxlsx   962.1579   981.0613   988.5006   986.1091   992.6017  1040.4158    20
#    readxl   341.0006   344.8904   347.0779   346.4518   348.9273   360.1808    20
#     gdata 43860.4013 44375.6340 44848.7797 44991.2208 45251.4441 45652.0826    20

以下是相关数据:

#       expr    min     lq   mean median     uq    max
# 1     xlsx  13.06  13.16  13.65  13.75  14.16  14.13
# 2 openxlsx   2.82   2.84   2.85   2.85   2.84   2.89
# 3   readxl   1.00   1.00   1.00   1.00   1.00   1.00
# 4    gdata 128.62 128.67 129.22 129.86 129.69 126.75

所以readxl在速度方面是明显的赢家。 gdata最好还有别的东西可以用,因为读取Excel文件的速度非常慢,而这个问题只会因为更大的表而加剧。

两个openxlsx的抽奖是1)其广泛的其他方法(readxl旨在一件事,这可能是它如此快速的原因之一,特别是它的write.xlsx函数,以及2)(readxl的更多缺点)col_types中的readxl参数只有(在撰写本文时)接受一些非标准{{1} }:R代替"text""character"代替"date"

答案 5 :(得分:19)

答案 6 :(得分:12)

library(RODBC)
file.name <- "file.xls"
sheet.name <- "Sheet Name"

## Connect to Excel File Pull and Format Data
excel.connect <- odbcConnectExcel(file.name)
dat <- sqlFetch(excel.connect, sheet.name, na.strings=c("","-"))
odbcClose(excel.connect)

我个人喜欢RODBC,可以推荐它。

答案 7 :(得分:7)

今天就试试这个包openxlsx。它工作得很好(而且很快)。

http://cran.r-project.org/web/packages/openxlsx/index.html

答案 8 :(得分:5)

另一个解决方案是xlsReadWrite包,它不需要额外的安装,但需要您在第一次使用它之前下载额外的shlib:

require(xlsReadWrite)
xls.getshlib()

忘记这一点可能会让人感到非常沮丧。去过那里......以及......

旁注:您可能需要考虑转换为基于文本的格式(例如csv)并从那里读入。这有以下几个原因:

  • 无论您的解决方案是什么(RODBC,gdata,xlsReadWrite),您的数据转换时都会发生一些奇怪的事情。特别是日期可能相当繁琐。 HFWutils包有一些处理EXCEL日期的工具(根据@Ben Bolker的评论)。

  • 如果您有大张纸,则读取文本文件比从EXCEL读取更快。

  • 对于.xls和.xlsx文件,可能需要不同的解决方案。 EG xlsReadWrite包目前不支持.xlsx AFAIK。 gdata要求您为.xlsx支持安装其他perl库。 xlsx包可以处理同名的扩展名。

答案 9 :(得分:4)

如上所述,在许多其他答案中,有许多好的软件包连接到XLS / X文件并以合理的方式获取数据。但是,应该警告您在任何情况下都不应使用剪贴板(或.csv)文件从Excel检索数据。要查看原因,请将=1/3输入到Excel中的单元格中。现在,将您可见的小数点数减少到两个。然后将数据复制并粘贴到R.现在保存CSV。您会注意到,在这两种情况下,Excel都只通过界面保留了您可以看到的数据,并且您已经失去了实际源数据中的所有精度。

答案 10 :(得分:3)

扩展@Mikko提供的答案你可以使用一个巧妙的技巧来加快速度,而不必知道&#34;你的专栏课程提前。只需使用read.xlsx抓取有限数量的记录来确定类,然后使用read.xlsx2

进行跟进

示例

# just the first 50 rows should do...
df.temp <- read.xlsx("filename.xlsx", 1, startRow=1, endRow=50) 
df.real <- read.xlsx2("filename.xlsx", 1, 
                      colClasses=as.vector(sapply(df.temp, mode)))

答案 11 :(得分:1)

可以将Excel文件直接读取到R中,如下所示:

my_data <- read.table(file = "xxxxxx.xls", sep = "\t", header=TRUE)

使用readxl软件包读取xls和xlxs文件

library("readxl")
my_data <- read_excel("xxxxx.xls")
my_data <- read_excel("xxxxx.xlsx")