Question

我很擅长使用R和xml进行抓取，我对保存和加载数据集有疑问。

我使用如下代码抓取了一个相当大的数据集

data<-list()
for(i in page[1:10]){
  pages<-read_html(paste0("http://www.gbig.org/buildings/", i))
  nodes<-html_nodes(pages, '.badge-info .cert-badge , .event , 
.date , .media-heading a , .truncated , .location , .buildings-type')
 data[[i]]  <-nodes
}

我以为我可以使用

保存数据并再次加载

save(data, file="trials.RData")

当我加载它并尝试再次使用它时，我收到一条错误消息。我做错了什么？什么是保存和加载xml节点的最佳方法？

{xml_nodeset (10)}
Error in node_write_character(x$node, options = options, encoding = encoding) : 
  external pointer is not valid

修改

我尝试的加载命令是：

load("trials.RData")

谢谢

Answer 1

它不起作用的原因是节点是＆＃34; xptr＆＃34;或＆＃34;外部指针＆＃34;当它们保存到R数据文件时，它们不会被序列化。 xml2软件包存储库和R文档中的其他各个位置都有针对此的警示性指导，但没有人再使用RTFM。 #sigh

解决问题的一种方法和将来再次对网站进行DoSing是从节点中提取数据而不是尝试保存原始节点和保留源页面的副本，这样你就可以抓住它，回到网站并浪费带宽（再次）。

我们需要一些套餐：

library(rvest)
library(httr)
library(tidyverse)

您应始终从检查网站robots.txt和服务条款/条款和条件开始。这个网站有robots.txt但没有ToS / T＆amp; C，因此我们会看看他们是否允许您尝试做的事情：

robotstxt::get_robotstxt(urltools::domain("http://www.gbig.org/buildings/")) %>%
  cat()
## # See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
## #
## # To ban all spiders from the entire site uncomment the next two lines:
## # User-Agent: *
## # Disallow: /
## User-Agent: *
## Crawl-delay: 10
## Disallow: /beta_invites
## Disallow: /admin
## Disallow: /search
## Disallow: /green_schools
## Disallow: /api
## Disallow: /places/8194/activities
## Disallow: /places/935/activities

因此，我们需要在页面请求之间使用10秒抓取延迟，您最好希望您没有违反技术控制，方法是使用/search或/api路径获取该列表页。

此外，我们稍后会需要此功能，因为我们将采用其他方法来获取您想要的节点：

c(
  ".badge-info .cert-badge", ".event", ".date" , ".media-heading a",
  ".truncated", ".location" , ".buildings-type"
) -> target_nodes

而且，我们也需要稍后清理^^

clean_node_names <- function(x) {
  x <- tolower(x)
  x <- gsub("[[:punct:][:space:]]+", "_", x)
  x <- gsub("_+", "_", x)
  x <- gsub("(^_|_$)", "", x)
  x <- make.unique(x, sep = "_")
  x
}

对于这个例子---因为你没有提供任何数据 - 我们需要一些网址，所以我们将从这个页面中获取前12个：

pg <- read_html("http://www.gbig.org/buildings/")

html_nodes(pg, "a.cell") %>%
  html_attr("href") %>%
  sprintf("http://www.gbig.org%s", .) -> building_urls

现在，设置一个进度条，因为页面之间的延迟会延迟10秒。我意识到你可能会和其他许多人不太可能遵循robots.txt规则，但这并不意味着你不应该这样做。

pb <- progress_estimated(length(building_urls))

最后，迭代这些网址并：

暂停
阅读页面
通过从每个CSS选择器路径中提取节点文本来构建数据帧;它们的长度不均匀，因此我们将它们全部列为list()列
保存HTML页面的字符来源

注意：您可能能够创建一个更好的数据框架，其中包含更多个人/故意的节点提取，而不是这种方法。

map_df(building_urls, ~{

  pb$tick()$print()

  Sys.sleep(10)

  x <- read_html(.x)

  map(target_nodes, html_nodes, x=x) %>%
    map(html_text) %>%
    set_names(clean_node_names(target_nodes)) %>%
    map(~list(.x)) %>%
    as_data_frame() -> tmpdf

  tmpdf$src_html <- as.character(pg)

  tmpdf

}) -> xdf

并且，经过一段时间的等待：

glimpse(xdf)
## Observations: 12
## Variables: 8
## $ badge_info_cert_badge <list> [<"Case Study", "Case Study", "Case Stu...
## $ event                 <list> [<"Whole Building Design Guide Case Stu...
## $ date                  <list> [<"06/20/2014", "08/13/2013", "08/13/20...
## $ media_heading_a       <list> [<"The Mutual Building  Christman Compa...
## $ truncated             <list> ["\nThe Christman Building LEED-EB, The...
## $ location              <list> ["208 N Capitol Ave, Lansing, MI, USA",...
## $ buildings_type        <list> ["\n\nThe Christman Building\n", "\n\nS...
## $ src_html              <chr> "<!DOCTYPE html>\n<html lang=\"en\">\n<h...

因为我们存储了src_html，所以如果您确实需要从每个建筑物中获取更多/不同的信息，则可以使用read_html()处理。

注意：an alternate method使用xml2::xml_serialize()：

pb <- progress_estimated(length(building_urls)) map(building_urls, ~{ pb$tick()$print() Sys.sleep(10) read_html(.x) %>% html_nodes( '.badge-info .cert-badge , .event , .date , .media-heading a , .truncated , .location , .buildings-type' ) %>% xml_serialize(NULL) -> nodes nodes }) -> bldg_lst

现在，它是一个原始载体列表：

str(bldg_lst) ## List of 12 ## $ : raw [1:4273] 58 0a 00 00 ... ## $ : raw [1:4027] 58 0a 00 00 ... ## $ : raw [1:3164] 58 0a 00 00 ... ## $ : raw [1:7718] 58 0a 00 00 ... ## $ : raw [1:2996] 58 0a 00 00 ... ## $ : raw [1:2908] 58 0a 00 00 ... ## $ : raw [1:4506] 58 0a 00 00 ... ## $ : raw [1:4127] 58 0a 00 00 ... ## $ : raw [1:2982] 58 0a 00 00 ... ## $ : raw [1:3034] 58 0a 00 00 ... ## $ : raw [1:1800] 58 0a 00 00 ... ## $ : raw [1:1877] 58 0a 00 00 ...

你可以省钱。

回读后，你会这样做：

map(bldg_lst, xml_unserialize) ## [[1]] ## {xml_nodeset (65)} ## [1] <h2 class="buildings-page-title buildings-type"><img alt="Building" ... ## [2] <p class="location">208 N Capitol Ave, Lansing, MI, USA</p> ## ... ## ## [[2]] ## {xml_nodeset (62)} ## [1] <h2 class="buildings-page-title buildings-type"><img alt="Building" ... ## [2] <p class="location">3825 Wisconsin Ave NW, Washington, DC, USA</p> ## ... ## ## [[3]] ## {xml_nodeset (54)} ## [1] <h2 class="buildings-page-title buildings-type"><img alt="Building" ... ## [2] <p class="location"> San Francisco, CA, USA</p> ## ... ## ## [[4]] ## {xml_nodeset (127)} ## [1] <h2 class="buildings-page-title buildings-type"><img alt="Building" ... ## [2] <p class="location"> Washington, DC, USA</p> ## ... ## ## [[5]] ## {xml_nodeset (50)} ## [1] <h2 class="buildings-page-title buildings-type"><img alt="Building" ... ## [2] <p class="location">4940 N 118th St, Omaha, NE, USA</p> ## ... ## ## [[6]] ## {xml_nodeset (47)} ## [1] <h2 class="buildings-page-title buildings-type"><img alt="Building" ... ## [2] <p class="location"> Dallas, TX, USA</p> ## ... ## ### (etc)

我仍然认为第一种建议的方法更好。

在R中保存xml节点

1 个答案: