通过许多XML文件在R中创建数据框架

时间:2018-06-25 15:09:18

标签: r dplyr xml2

我正在尝试使用瑞典选举统计信息来检索一些xml数据,并在其中创建R中的数据框,但是我对xml文件并不熟悉,无法获取我想要的信息。我还看到了其他一些有关如何从许多XML文件创建数据框的问题,但是它们的结构比我正在使用的数据更简单。

数据作为带有许多XML文件的压缩文件夹发布。可以通过以下R代码读取它:

library(xml2)
library(tidyverse)

tf <- tempfile(tmpdir = tdir <- tempdir())
download.file("https://data.val.se/val/val2014/valnatt/valnatt.zip", tf)
xml_files <- unzip(tf, exdir = tdir)

该文件夹包含290个自治市的文件(带有4位数字代码的文件)和每种选举类型,其中文件名中的最后一个字母表示选举的类型(R =国会,L =县议会,K =市议会)。它还包含3个XML文件,用于三种选举类型的每种选举的总结果。包含市政数据的XML文件具有以下结构(为清晰起见,删除了行):

    <?xml version="1.0" encoding="ISO-8859-1"?>
    <?xml-stylesheet type="text/html"?>
    <!DOCTYPE VAL PUBLIC "-//Valmyndigheten//DTD Valresultat parti kommun 1.5//SV" "http://www.val.se/dtd/resultat/parti_kommun_1_5.dtd">
    <VAL TILLFÄLLE="Allmänna val 14 september 2014" FILNAMN="valnatt_0114R.xml" RAPPORTERING="VALNATTSRAPPORTERING" VALTYP="Riksdagsval" VALDAG="20140914" VALDAG_FGVAL="20100919" TID_RAPPORT="20140916105203">
      <PARTI FÖRKORTNING="M" BETECKNING="Moderaterna" FÄRG="#66BEE6" />
      <KOMMUN KOD="0114" NAMN="Upplands Väsby" TYP="Summering" KLARA_VALDISTRIKT="22" ALLA_VALDISTRIKT="22" RÖSTER="23638" RÖSTER_FGVAL="22215" TID_RAPPORT="20140914230336" MODNR="117144935">
        <GILTIGA PARTI="M" RÖSTER="6748" RÖSTER_FGVAL="8201" PROCENT="28,5" PROCENT_FGVAL="36,9" PROCENT_ÄNDRING="-8,4"/>
        <GILTIGA PARTI="C" RÖSTER="901" RÖSTER_FGVAL="891" PROCENT="3,8" PROCENT_FGVAL="4,0" PROCENT_ÄNDRING="-0,2"/>
        <KRETS_KOMMUN KOD="011401" NAMN="Norra valkretsen" TYP="Summering" KLARA_VALDISTRIKT="12" ALLA_VALDISTRIKT="12" RÖSTER="11907" RÖSTER_FGVAL="11202" TID_RAPPORT="20140914222651" MODNR="117118974">
          <GILTIGA PARTI="M" RÖSTER="3083" RÖSTER_FGVAL="3860" PROCENT="25,9" PROCENT_FGVAL="34,5" PROCENT_ÄNDRING="-8,6"/>
          <GILTIGA PARTI="C" RÖSTER="440" RÖSTER_FGVAL="431" PROCENT="3,7" PROCENT_FGVAL="3,8" PROCENT_ÄNDRING="-0,2"/>
      <VALDISTRIKT KOD="01140212" NAMN="Smedby Södra" RÖSTER="1201" RÖSTER_FGVAL="1186" TID_RAPPORT="20140914230336" MODNR="117144935">
        <GILTIGA PARTI="M" RÖSTER="227" RÖSTER_FGVAL="336" PROCENT="18,9" PROCENT_FGVAL="28,3" PROCENT_ÄNDRING="-9,4"/>
        <GILTIGA PARTI="C" RÖSTER="35" RÖSTER_FGVAL="17" PROCENT="2,9" PROCENT_FGVAL="1,4" PROCENT_ÄNDRING="+1,5"/>
        <GILTIGA PARTI="FP" RÖSTER="43" RÖSTER_FGVAL="61" PROCENT="3,6" PROCENT_FGVAL="5,1" PROCENT_ÄNDRING="-1,6"/>
        <ÖVRIGA_GILTIGA RÖSTER="20" RÖSTER_FGVAL="10" PROCENT="1,7" PROCENT_FGVAL="0,8" PROCENT_ÄNDRING="+0,8"/>
        <OGILTIGA TEXT="BLANK" RÖSTER="12" RÖSTER_FGVAL="13" PROCENT="1,0" PROCENT_FGVAL="1,1" PROCENT_ÄNDRING="-0,1"/>
        <OGILTIGA TEXT="OG" RÖSTER="13" RÖSTER_FGVAL="1" PROCENT="1,1" PROCENT_FGVAL="0,1" PROCENT_ÄNDRING="+1,0"/>
        <VALDELTAGANDE RÖSTBERÄTTIGADE="1551" RÖSTBERÄTTIGADE_KLARA_VALDISTRIKT_FGVAL="1546" SUMMA_RÖSTER="1226" SUMMA_RÖSTER_FGVAL="1200" PROCENT="79,0" PROCENT_FGVAL="77,6" PROCENT_ÄNDRING="+1,4"/>
      </VALDISTRIKT>
    </KRETS_KOMMUN>
  </KOMMUN>
</VAL>

现在,我想为每个文件获取所有VALDISTRIKT节点及以下节点中的数据,并创建一个数据框。我不确定如何最好地构造这样的数据帧,但是下面的结构就足够了,其中GROUP在GILTIGA中包含PARTI,在OGILTIGA中包含TEXT,而在ÖVRIGA_GILTIGA中仅包含ÖVRIGA_GILTIGA。如果可能的话,我也想从VALDELTAGANDE中添加PROCENT和PROCENT_FG_VAL作为变量(对于一个VALDISTRIKT中的每一行都具有相同的信息)。

    KOD      NAMN             GROUP        RÖSTER RÖSTER_FG_VAL PROCENT PROCENT_FG_VAL PROCENT_FÖRÄNDRING
    01140212 "Smedby Södra"   M              227   336            18,9   18,3           -9,4
    01140212 "Smedby Södra"   C              35    17             2,9     1,4           +1,5
    01140212 "Smedby Södra"   FP             43    61             3,6     5,1           -1,6
    01140212 "Smedby Södra"   ÖVRIGA_GILTIGA 20    10             1,7     0,8           +0,8       
    01140212 "Smedby Södra"   BLANK          12    13             1,0     1,1           -0,1
    01140212 "Smedby Södra"   OG             13    1              1,1     0,1           +1,0

应该从290个文件中的每个VALDISTRIKT中检索该信息,这些文件的名称以4位数字开头并以R结尾。我想我应该遍历这些文件,或者应该使用map_df

我知道在一个问题中有很多要问的问题,很抱歉,如果我没有为XML文件的某些部分使用正确的术语,但是如果您能给我一些有关如何获得XML的提示,从xml文件到数据框的信息,或者我可以在其中获得更多有关如何执行此操作的信息,将不胜感激。

更新

我已经设法向前走了几步。对于一个文件,我可以使用以下代码将所有信息分成两个单独的数据框,其中顶部包含有关区域的数据,而下方包含选举结果。我现在只需要找到一种将两者结合起来并调整代码以读取所有文件的方法。

top <- xml_find_all(t, "//VALDISTRIKT")
top <- top %>% 
        map(xml_attrs) %>% 
        map_df(~as.list(.))
below <- xml_find_all(t, "//VALDISTRIKT/*")
below <- p2 %>% 
    map(xml_attrs) %>% 
    map_df(~as.list(.))

最好,R

1 个答案:

答案 0 :(得分:1)

我在RStudio Community中得到了一个答案,我想我也可以在这里添加它,以防对其他人有帮助。

library(xml2)
library(tidyverse)

# Make a temporary file (tf) and a temporary folder (tdir)
tf <- tempfile(tmpdir = tdir <- tempdir())

# Download the zip file 
download.file("https://data.val.se/val/val2014/valnatt/valnatt.zip", tf)

# Unzip it in the temp folder
xml_files <- unzip(tf, exdir = tdir)

# Get the filenames of the files to import
# They have 4 digits in the file name, and ends with the letter K
files_to_import <- fs::dir_ls(tdir) %>%
    str_subset(pattern = "valnatt_\\d{4}K.xml$")

# Create a function to read a file and get the information wanted
read_dist <- . %>% 
    read_xml() %>% 
    xml_find_all(., "//VALDISTRIKT") %>% 
    map_dfr(~ {
        # extract the attributes from the parent tag as a data.frame
        parent <- xml_attrs(.x) %>% enframe() %>% spread(name, value)
        # make a data.frame out of the attributes of the kids
        kids <- xml_children(.x) %>% map_dfr(~ as.list(xml_attrs(.x)))
        # combine them (bind_cols does not repeat parent rows)
        cbind.data.frame(parent, kids) %>% set_tidy_names() %>% as_tibble() 
    })
# Map over all the files
df <- map_df(files_to_import, read_dist)