我有大型XML文件,我想将其转换为数据框,以便在R和其他程序中进行进一步处理。这些都是在macOS中完成的。
每个月XML大小约为1gb,有15万条记录和191个不同的变量。最后,我可能不需要全部191个变量,但我想保留它们并稍后决定。
The XML files can be accessed here(滚动到每月zip的底部,未压缩时应查看“ dming” XML)
我已经取得了一些进步,但是处理较大文件的时间太长了(见下文)
XML看起来像这样:
<ROOT>
<ROWSET_DUASDIA>
<ROW_DUASDIA NUM="1">
<variable1>value</variable1>
...
<variable191>value</variable191>
</ROW_DUASDIA>
...
<ROW_DUASDIA NUM="150236">
<variable1>value</variable1>
...
<variable191>value</variable191>
</ROW_DUASDIA>
</ROWSET_DUASDIA>
</ROOT>
我希望这很清楚。这是我第一次使用XML。
我在这里查看了许多答案,实际上设法使用较小的样本(使用每日XML而不是每月XML)和xml2
将数据放入数据框。这就是我所做的
library(xml2)
raw <- read_xml(filename)
# Find all records
dua <- xml_find_all(raw,"//ROW_DUASDIA")
# Create empty dataframe
dualen <- length(dua)
varlen <- length(xml_children(dua[[1]]))
df <- data.frame(matrix(NA,nrow=dualen,ncol=varlen))
# For loop to enter the data for each record in each row
for (j in 1:dualen) {
df[j, ] <- xml_text(xml_children(dua[[j]]),trim=TRUE)
}
# Name columns
colnames(df) <- c(names(as_list(dua[[1]])))
我认为这还很初级,但是我对R还是很陌生。
无论如何,这对于日常数据(4-5k条记录)可以正常工作,但是对于15万条记录来说效率可能太低,实际上我等了几个小时才完成。当然,我每个月只需要运行一次此代码,但是我仍然希望对其进行改进。
我尝试使用as_list
中的xml2
函数将所有记录的元素转换为列表,以便可以继续使用plyr
,但这也花费了很长时间。
谢谢。
答案 0 :(得分:2)
虽然不能保证在较大的XML文件上有更好的性能,但是(“旧派”)XML
包为像您这样的扁平XML文件维护了一个紧凑的数据帧处理程序xmlToDataFrame
。其他兄弟姐妹中任何可用的缺少节点都会导致NA
对应字段。
library(XML)
doc <- xmlParse("/path/to/file.xml")
df <- xmlToDataFrame(doc, nodes=getNodeSet(doc, "//ROW_DUASDIA"))
您甚至可以想象,您可以下载每日zip文件,解压缩需要的XML,并在每月的大型XML带来内存挑战的情况下将其解析为数据框。例如,下面将2018年12月的每日数据提取到要在行尾绑定的数据帧列表中。 Process甚至添加一个 DDate 字段。由于缺少日期或其他URL或zip问题,方法被包装在tryCatch
中。
dec_urls <- paste0(1201:1231)
temp_zip <- "/path/to/temp.zip"
xml_folder <- "/path/to/xml/folder"
xml_process <- function(dt) {
tryCatch({
# DOWNLOAD ZIP TO URL
url <- paste0("ftp://ftp.aduanas.gub.uy/DUA%20Diarios%20XML/2018/dd2018", dt,".zip")
file <- paste0(xml_folder, "/dding2018", dt, ".xml")
download.file(url, temp_zip)
unzip(temp_zip, files=paste0("dding2018", dt, ".xml"), exdir=xml_folder)
unlink(temp_zip) # DESTROY TEMP ZIP
# PARSE XML TO DATA FRAME
doc <- xmlParse(file)
df <- transform(xmlToDataFrame(doc, nodes=getNodeSet(doc, "//ROW_DUASDIA")),
DDate = as.Date(paste("2018", dt), format="%Y%m%d", origin="1970-01-01"))
unlink(file) # DESTROY TEMP XML
# RETURN XML DF
return(df)
}, error = function(e) NA)
}
# BUILD LIST OF DATA FRAMES
dec_df_list <- lapply(dec_urls, xml_process)
# FILTER OUT "NAs" CAUGHT IN tryCatch
dec_df_list <- Filter(NROW, dec_df_list)
# ROW BIND TO FINAL SINGLE DATA FRAME
dec_final_df <- do.call(rbind, dec_df_list)
答案 1 :(得分:1)
这是一种解决方案,可立即处理整个文档,而不是读取循环中的150,000条记录中的每条记录。这将大大提高性能。
此版本还可以处理每条记录的变量数不同的情况。
library(xml2)
doc<-read_xml('<ROOT>
<ROWSET_DUASDIA>
<ROW_DUASDIA NUM="1">
<variable1>value1</variable1>
<variable191>value2</variable191>
</ROW_DUASDIA>
<ROW_DUASDIA NUM="150236">
<variable1>value3</variable1>
<variable2>value_new</variable2>
<variable191>value4</variable191>
</ROW_DUASDIA>
</ROWSET_DUASDIA>
</ROOT>')
#find all of the nodes/records
nodes<-xml_find_all(doc, ".//ROW_DUASDIA")
#find the record NUM and the number of variables under each record
nodenum<-xml_attr(nodes, "NUM")
nodeslength<-xml_length(nodes)
#find the variable names and values
nodenames<-xml_name(xml_children(nodes))
nodevalues<-trimws(xml_text(xml_children(nodes)))
#create dataframe
df<-data.frame(NUM=rep(nodenum, times=nodeslength),
variable=nodenames, values=nodevalues, stringsAsFactors = FALSE)
#dataframe is in a long format.
#Use the function cast, or spread from the tidyr to convert wide format
# NUM variable values
# 1 1 variable1 value1
# 2 1 variable191 value2
# 3 150236 variable1 value3
# 4 150236 variable2 value_new
# 5 150236 variable191 value4
#Convert to wide format
library(tidyr)
spread(df, variable, values)