如何修复“ open.connection(x,“ rb”)中的错误:HTTP错误503。用rvest抓取网站时?

时间:2019-04-22 16:44:30

标签: r http rvest

试图浏览一系列网站。链接位于称为linksRaw的数据框中。当仅通过html_node和html_text运行单个URL时,它可以工作。我添加了一个for循环,以便遍历linksRaw中的每个URL。当我添加此循环时,它给了我这个错误:open.connection(x,“ rb”)中的错误:HTTP错误503。我尝试添加随机时间延迟,但是没有发现运气。我还阅读了该站点上的其他一些帖子,但是没有一个是超级有用的。任何建议将不胜感激。

to_get <- linksRaw
pb <- progress_estimated(length(to_get))
for(i in 1:nrow(linksRaw)) {
pb$tick()$print()
row <- linksRaw[i, ]
url <- row
webpage <- read_html(url)
contentHTML <- html_nodes(webpage, 'p+ ul li , div:nth-child(6) p 
, #block-system-main div div li')
content <- html_text(contentHTML)
Sys.sleep(sample(10, 1) * 0.1)
}

0 个答案:

没有答案