如何直接将Excel文件读入R?或者我应该首先将数据导出到文本或CSV文件并将该文件导入R?
答案 0 :(得分:48)
让我重申@Chase建议的内容:使用XLConnect。
在我看来,使用XLConnect的原因是:
与其他解决方案相比,XLConnect有点新鲜,因此在博客文章和参考文档中不常提及它。对我来说这非常有用。
答案 1 :(得分:43)
现在有readxl:
readxl包使得从Excel和R中获取数据变得容易。 与现有的包相比(例如gdata,xlsx,xlsReadWrite等) readxl没有外部依赖关系,所以很容易安装和使用 所有操作系统。它旨在处理存储的表格数据 在一张纸上。
readxl建立在libxls C库之上,它抽象了 基础二进制格式的许多复杂性。
它支持传统的.xls格式和.xlsx
可以从CRAN获得readxl,或者您可以使用以下命令从github安装它:
# install.packages("devtools")
devtools::install_github("hadley/readxl")
用法
library(readxl)
# read_excel reads both xls and xlsx files
read_excel("my-old-spreadsheet.xls")
read_excel("my-new-spreadsheet.xlsx")
# Specify sheet with a number or name
read_excel("my-spreadsheet.xls", sheet = "data")
read_excel("my-spreadsheet.xls", sheet = 2)
# If NAs are represented by something other than blank cells,
# set the na argument
read_excel("my-spreadsheet.xls", na = "NA")
请注意,虽然说明中没有“没有外部依赖关系”,但它确实需要Rcpp
package,而{{3}}又需要Rtools(对于Windows)或Xcode(对于OSX), R之外的依赖关系。虽然很多人出于其他原因安装了它们。
答案 2 :(得分:39)
是。见the relevant page on the R wiki。简短的回答:来自read.xls
包的gdata
大部分时间都在工作(虽然你需要在你的系统上安装Perl - 在MacOS和Linux上通常都是正确的,但在Windows上需要额外的一步,即见http://strawberryperl.com/)。 R维基页面上列出了各种警告和替代方案。
我看到不直接这样做的唯一原因是你可能想要检查电子表格以查看它是否有毛刺(奇怪的标题,多个工作表[你一次只能读一个,尽管你显然可以循环他们所有],包括情节等)。但对于格式良好的矩形电子表格,其中包含普通数字和字符数据(即,不是逗号格式的数字,日期,具有被零除错误的公式,缺失值等等。)我一般都没有问题通过这个过程。
答案 3 :(得分:28)
2015年10月编辑:正如其他人在此处发表评论的那样,openxlsx
和readxl
软件包远远快于xlsx
软件包并实际设法打开较大的Excel文件(> 1500行&> 120列)。 @MichaelChirico演示readxl
在首选速度时更好,openxlsx
取代xlsx
包提供的功能。如果您正在寻找一个包,以便在2015年阅读,编写和修改Excel文件,请选择openxlsx
而不是xlsx
。
2015年之前:我使用了xlsx
package。它用Excel和R改变了我的工作流程。如果我确定我想以.txt格式保存我的Excel工作表,不要再讨厌恼人的弹出窗口了。该软件包还会写入Excel文件。
但是,当打开大型Excel文件时,我发现read.xlsx
功能很慢。 read.xlsx2
函数速度要快得多,但是不要求data.frame列的向量类。如果使用colClasses
函数,则必须使用read.xlsx2
命令指定所需的列类。这是一个实际的例子:
read.xlsx("filename.xlsx", 1)
读取您的文件并使data.frame列类几乎有用,但对于大型数据集来说非常慢。也适用于.xls
个文件。
read.xlsx2("filename.xlsx", 1)
速度更快,但您必须手动定义列类。一个快捷方式是运行命令两次(参见下面的示例)。 character
规范会将您的列转换为因子。使用Date
和POSIXct
选项获取时间。
coln <- function(x){y <- rbind(seq(1,ncol(x))); colnames(y) <- colnames(x)
rownames(y) <- "col.number"; return(y)} # A function to see column numbers
data <- read.xlsx2("filename.xlsx", 1) # Open the file
coln(data) # Check the column numbers you want to have as factors
x <- 3 # Say you want columns 1-3 as factors, the rest numeric
data <- read.xlsx2("filename.xlsx", 1, colClasses= c(rep("character", x),
rep("numeric", ncol(data)-x+1)))
答案 4 :(得分:22)
鉴于R
中读取Excel文件的方法不尽相同而且这里有大量的答案,我想我会试着说明这里提到的哪些选项表现最好(在几个简单的情况)。
自从我开始使用xlsx
以来,我自己一直在使用R
,如果没有别的话,我一直在惯性,我最近注意到似乎没有关于哪个包更好用的客观信息。 / p>
任何基准测试都充满了困难,因为有些软件包肯定会比其他软件包更好地处理某些情况,以及其他一些注意事项。
那就是说,我正在使用一个(可重现的)数据集,我认为这是一种非常常见的格式(8个字符串字段,3个数字,1个整数,3个日期):
set.seed(51423)
data.frame(
str1 = sample(sprintf("%010d", 1:NN)), #ID field 1
str2 = sample(sprintf("%09d", 1:NN)), #ID field 2
#varying length string field--think names/addresses, etc.
str3 =
replicate(NN, paste0(sample(LETTERS, sample(10:30, 1L), TRUE),
collapse = "")),
#factor-like string field with 50 "levels"
str4 = sprintf("%05d", sample(sample(1e5, 50L), NN, TRUE)),
#factor-like string field with 17 levels, varying length
str5 =
sample(replicate(17L, paste0(sample(LETTERS, sample(15:25, 1L), TRUE),
collapse = "")), NN, TRUE),
#lognormally distributed numeric
num1 = round(exp(rnorm(NN, mean = 6.5, sd = 1.5)), 2L),
#3 binary strings
str6 = sample(c("Y","N"), NN, TRUE),
str7 = sample(c("M","F"), NN, TRUE),
str8 = sample(c("B","W"), NN, TRUE),
#right-skewed integer
int1 = ceiling(rexp(NN)),
#dates by month
dat1 =
sample(seq(from = as.Date("2005-12-31"),
to = as.Date("2015-12-31"), by = "month"),
NN, TRUE),
dat2 =
sample(seq(from = as.Date("2005-12-31"),
to = as.Date("2015-12-31"), by = "month"),
NN, TRUE),
num2 = round(exp(rnorm(NN, mean = 6, sd = 1.5)), 2L),
#date by day
dat3 =
sample(seq(from = as.Date("2015-06-01"),
to = as.Date("2015-07-15"), by = "day"),
NN, TRUE),
#lognormal numeric that can be positive or negative
num3 =
(-1) ^ sample(2, NN, TRUE) * round(exp(rnorm(NN, mean = 6, sd = 1.5)), 2L)
)
然后我将此写入csv并在LibreOffice中打开并将其保存为.xlsx文件,然后对此线程中提到的4个软件包进行基准测试:xlsx
,openxlsx
,readxl
和gdata
,使用默认选项(我还尝试了一个版本,无论我是否指定列类型,但这并没有改变排名)。
我排除RODBC
,因为我在Linux上; XLConnect
因为它的主要目的似乎不是在单个Excel工作表中读取,而是导入整个Excel工作簿,所以仅仅在其阅读能力上将它的马放在竞赛中似乎是不公平的;和xlsReadWrite
,因为它已不再与我的R
版本兼容(似乎已被淘汰)。
然后我使用NN=1000L
和NN=25000L
(在上面data.frame
的每个声明之前重置种子)运行基准测试,以允许与Excel文件大小相关的差异。 gc
主要用于xlsx
,我发现有时可能会造成内存堵塞。不用多说,以下是我发现的结果:
benchmark1k <-
microbenchmark(times = 100L,
xlsx = {xlsx::read.xlsx2(fl, sheetIndex=1); invisible(gc())},
openxlsx = {openxlsx::read.xlsx(fl); invisible(gc())},
readxl = {readxl::read_excel(fl); invisible(gc())},
gdata = {gdata::read.xls(fl); invisible(gc())})
# Unit: milliseconds
# expr min lq mean median uq max neval
# xlsx 194.1958 199.2662 214.1512 201.9063 212.7563 354.0327 100
# openxlsx 142.2074 142.9028 151.9127 143.7239 148.0940 255.0124 100
# readxl 122.0238 122.8448 132.4021 123.6964 130.2881 214.5138 100
# gdata 2004.4745 2042.0732 2087.8724 2062.5259 2116.7795 2425.6345 100
所以readxl
是胜利者,openxlsx
具有竞争力,gdata
是明显的输家。采取相对于列最小值的每个度量:
# expr min lq mean median uq max
# 1 xlsx 1.59 1.62 1.62 1.63 1.63 1.65
# 2 openxlsx 1.17 1.16 1.15 1.16 1.14 1.19
# 3 readxl 1.00 1.00 1.00 1.00 1.00 1.00
# 4 gdata 16.43 16.62 15.77 16.67 16.25 11.31
我们看到自己喜欢的,xlsx
比readxl
慢60%。
由于需要花费的时间,我只在较大的文件上重复了20次,否则命令是相同的。这是原始数据:
# Unit: milliseconds
# expr min lq mean median uq max neval
# xlsx 4451.9553 4539.4599 4738.6366 4762.1768 4941.2331 5091.0057 20
# openxlsx 962.1579 981.0613 988.5006 986.1091 992.6017 1040.4158 20
# readxl 341.0006 344.8904 347.0779 346.4518 348.9273 360.1808 20
# gdata 43860.4013 44375.6340 44848.7797 44991.2208 45251.4441 45652.0826 20
以下是相关数据:
# expr min lq mean median uq max
# 1 xlsx 13.06 13.16 13.65 13.75 14.16 14.13
# 2 openxlsx 2.82 2.84 2.85 2.85 2.84 2.89
# 3 readxl 1.00 1.00 1.00 1.00 1.00 1.00
# 4 gdata 128.62 128.67 129.22 129.86 129.69 126.75
所以readxl
在速度方面是明显的赢家。 gdata
最好还有别的东西可以用,因为读取Excel文件的速度非常慢,而这个问题只会因为更大的表而加剧。
两个openxlsx
的抽奖是1)其广泛的其他方法(readxl
旨在仅一件事,这可能是它如此快速的原因之一,特别是它的write.xlsx
函数,以及2)(readxl
的更多缺点)col_types
中的readxl
参数只有(在撰写本文时)接受一些非标准{{1} }:R
代替"text"
和"character"
代替"date"
。
答案 5 :(得分:19)
我对XLConnect
:http://cran.r-project.org/web/packages/XLConnect/index.html
答案 6 :(得分:12)
library(RODBC)
file.name <- "file.xls"
sheet.name <- "Sheet Name"
## Connect to Excel File Pull and Format Data
excel.connect <- odbcConnectExcel(file.name)
dat <- sqlFetch(excel.connect, sheet.name, na.strings=c("","-"))
odbcClose(excel.connect)
我个人喜欢RODBC,可以推荐它。
答案 7 :(得分:7)
今天就试试这个包openxlsx
。它工作得很好(而且很快)。
答案 8 :(得分:5)
另一个解决方案是xlsReadWrite
包,它不需要额外的安装,但需要您在第一次使用它之前下载额外的shlib:
require(xlsReadWrite)
xls.getshlib()
忘记这一点可能会让人感到非常沮丧。去过那里......以及......
旁注:您可能需要考虑转换为基于文本的格式(例如csv)并从那里读入。这有以下几个原因:
无论您的解决方案是什么(RODBC,gdata,xlsReadWrite),您的数据转换时都会发生一些奇怪的事情。特别是日期可能相当繁琐。 HFWutils
包有一些处理EXCEL日期的工具(根据@Ben Bolker的评论)。
如果您有大张纸,则读取文本文件比从EXCEL读取更快。
对于.xls和.xlsx文件,可能需要不同的解决方案。 EG xlsReadWrite包目前不支持.xlsx AFAIK。 gdata
要求您为.xlsx支持安装其他perl库。 xlsx
包可以处理同名的扩展名。
答案 9 :(得分:4)
如上所述,在许多其他答案中,有许多好的软件包连接到XLS / X文件并以合理的方式获取数据。但是,应该警告您在任何情况下都不应使用剪贴板(或.csv)文件从Excel检索数据。要查看原因,请将=1/3
输入到Excel中的单元格中。现在,将您可见的小数点数减少到两个。然后将数据复制并粘贴到R.现在保存CSV。您会注意到,在这两种情况下,Excel都只通过界面保留了您可以看到的数据,并且您已经失去了实际源数据中的所有精度。
答案 10 :(得分:3)
扩展@Mikko提供的答案你可以使用一个巧妙的技巧来加快速度,而不必知道&#34;你的专栏课程提前。只需使用read.xlsx
抓取有限数量的记录来确定类,然后使用read.xlsx2
示例强>
# just the first 50 rows should do...
df.temp <- read.xlsx("filename.xlsx", 1, startRow=1, endRow=50)
df.real <- read.xlsx2("filename.xlsx", 1,
colClasses=as.vector(sapply(df.temp, mode)))
答案 11 :(得分:1)
可以将Excel文件直接读取到R中,如下所示:
my_data <- read.table(file = "xxxxxx.xls", sep = "\t", header=TRUE)
使用readxl软件包读取xls和xlxs文件
library("readxl")
my_data <- read_excel("xxxxx.xls")
my_data <- read_excel("xxxxx.xlsx")