Question

考虑以下XML示例

library(xml2)

myxml <- read_xml('
<data>
  <obs ID="a">
  <name> John </name>
  <hobby> tennis </hobby>
  <hobby> golf </hobby>
  <skill> python  </skill>
  </obs>
  <obs ID="b">
  <name> Robert </name>
  <skill> R </skill>
  </obs>
  </data>
')

在这里，我想从此XML中获取包含name和hobby列的（R或Pandas）数据框。

但是，如您所见，存在对齐问题，因为第二个节点中缺少hobby而John有两个爱好。

在R中，我知道如何一次提取一个特定值，例如使用xml2，如下所示：

myxml%>% 
  xml_find_all("//name") %>% 
  xml_text()

myxml%>% 
  xml_find_all("//hobby") %>% 
  xml_text()

但是如何在数据框中正确对齐此数据？也就是说，我如何获得如下的数据帧（注意我如何加入约翰的两个爱好|）：

# A tibble: 2 × 3
    name           hobby            skill
   <chr>           <chr>            <chr>
1   John          tennis|golf       python
2 Robert            <NA>            R

在R中，我更倾向于使用xml2和dplyr的解决方案。在Python中，我想最终得到一个Pandas数据帧。另外，在我的xml中还有更多我要解析的变量。我想要一个解决方案，允许用户解析其他变量，而不会过多地使用代码。

谢谢！

编辑：感谢所有人提供这些出色的解决方案。所有这些都非常好，有很多细节，很难找到最好的。再次感谢！

Answer 1

一般的R解决方案，不需要对变量进行硬编码使用xml2和tidyverse的purrr：

library(xml2)
library(purrr)

myxml %>% 
  xml_find_all('obs') %>%      
  # Enter each obs and return a df
  map_df(~{

    # Scan names
    node_names <- .x %>% 
      xml_children() %>% 
      xml_name() %>%
      unique()        

    # Remember ob
    ob <- .x

    # Enter each node
    map(node_names, ~{

      # Find similar nodes
      node <- xml_find_all(ob, .x) %>%
        xml_text(trim = TRUE) %>%
        paste0(collapse = '|') %>% 
        'names<-'(.x)
        # ^ we need to name the element to 
        #   overwrite it with its 'sibilings'

    }) %>% 
      # Return an 'ob' vector
      flatten()        
  })

#> # A tibble: 2 Ã— 3
#>     name       hobby  skill
#>    <chr>       <chr>  <chr>
#> 1   John tennis|golf python
#> 2 Robert        <NA>      R

它的作用：

它'进入'每个obs，找到并存储该障碍物中的节点名称。
对于每个节点，找到obs中的所有类似节点，将其折叠并存储在列表中。
展平列表，覆盖具有相同名称的元素。
rbind（隐含在map_df()中）每个'flatted'列表中的data.frame。

数据：

myxml <- read_xml('
                  <data>
                  <obs ID="a">
                  <name> John </name>
                  <hobby> tennis </hobby>
                  <hobby> golf </hobby>
                  <skill> python  </skill>
                  </obs>
                  <obs ID="b">
                  <name> Robert </name>
                  <skill> R </skill>
                  </obs>
                  </data>
                  ')

Answer 2

在R中，我可能会使用

library(XML)
lst <- xmlToList(xmlParse(myxml)[['/data']])
(df <- data.frame(t(sapply(lst, function(x) {
  c(x['name'], hobby=paste0(x[which(names(x)=='hobby')], collapse="|"))
}))) )
#       name           hobby
# 1    John   tennis | golf 
# 2  Robert

并且可能使用df[df==""] <- NA和trimws()进行一些抛光以删除空格。

或者：

library(xml2)
library(dplyr)
`%|||%` <- function (x, y) if (length(x)==0) y else x 
(df <- data_frame(
  names = myxml %>% 
    xml_find_all("/data/obs/name") %>% 
    xml_text(trim=TRUE), 
  hobbies = myxml %>% 
    xml_find_all("/data/obs") %>% 
    lapply(function(x) xml_text(xml_find_all(x, "hobby"), T) %|||% NA_character_)
))
# # A tibble: 2 × 2
#    names   hobbies
#    <chr>    <list>
# 1   John <chr [2]>
# 2 Robert <chr [1]>

Answer 3

XML

创建一个可以处理丢失或多个节点的函数，然后将其应用于obs个节点。我添加了id列，因此您可以看到如何使用xmlGetAttr（对{} 1}使用"."，在其他节点上使用"."，因此它相对于集合中的当前节点）。

xpath2 <-function(x, ...){
    y <- xpathSApply(x, ...)
    ifelse(length(y) == 0, NA,  paste(trimws(y), collapse=", "))
}  
obs <- getNodeSet(doc, "//obs")   
data.frame( id = sapply(obs, xpath2, ".", xmlGetAttr, "ID"),
          name = sapply(obs, xpath2, ".//name", xmlValue),
       hobbies = sapply(obs, xpath2, ".//hobby", xmlValue),
         skill = sapply(obs, xpath2, ".//skill", xmlValue))

  id   name      hobbies  skill
1  a   John tennis, golf python
2  b Robert         <NA>      R

XML2

我不经常使用xml2，但可能会获得obs个节点，如果有重复的代码而不是xml_find_all，则应用xml_find_first。

obs <-  xml_find_all(myxml, "//obs")  
lapply(obs, xml_find_all, ".//hobby")

data_frame(
     name = xml_find_first(obs, ".//name") %>% xml_text(trim=TRUE),
  hobbies = sapply(obs, function(x)  paste(xml_text( xml_find_all(x, ".//hobby"), trim=TRUE), collapse=", " ) ),
    skill = xml_find_first(obs, ".//skill") %>% xml_text(trim=TRUE)
)

# A tibble: 2 x 3
    name      hobbies  skill
   <chr>        <chr>  <chr>
1   John tennis, golf python
2 Robert                   R

我使用NCBI ftp上的medline17n0853.xml文件测试了这两种方法。这是一个包含30,000个PubmedArticle节点的280 MB文件，XML包用102秒来解析发布的id，日志并组合多种发布类型。 xml2代码运行了30分钟，然后我将其杀死，因此这可能不是最佳解决方案。

Answer 4

<强> pandas

import pandas as pd
from collections import defaultdict
import xml.etree.ElementTree as ET


xml_txt = """<data>
  <obs ID="a">
  <name> John </name>
  <hobby> tennis </hobby>
  <hobby> golf </hobby>
  <skill> python  </skill>
  </obs>
  <obs ID="b">
  <name> Robert </name>
  <skill> R </skill>
  </obs>
  </data>"""

etree = ET.fromstring(xml_txt)

def obs2series(o):
    d = defaultdict(list)
    [d[c.tag].append(c.text.strip()) for c in o.getchildren()];
    return pd.Series(d).str.join('|')

pd.DataFrame([obs2series(o) for o in etree.findall('obs')])

         hobby    name   skill
0  tennis|golf    John  python
1          NaN  Robert       R

如何运作

从字符串构建元素树。否则请执行et = ET.parse('my_data.xml')
etree.findall('obs')返回xml结构中'obs'标记
我将其中的每一个传递给pd.Series构造函数obs2series
在obs2series内，我遍历一个'obs'元素中的所有子节点。
defaultdict默认为list，这意味着我可以附加到某个值，即使以前没有看过该密钥。
我最终得到了一份列表字典。我将其传递给pd.Series以获得一系列列表。
使用pd.Series.str.join('|')我可以根据需要将其转换为一系列字符串。
我在开头循环观察的列表理解现在是一个系列列表，可以传递给pd.DataFrame构造函数。

Python / R：当并非所有节点都包含所有变量时，从XML生成数据帧？

4 个答案:

它的作用：

数据：

XML

XML2