我试图使用R rvest
软件包抓取一些评论并实际上成功,直到我用红色停止按钮中断我的会话(详细信息)。
然后我开始收到此错误:
open.connection错误(x," rb"):HTTP错误503
使用函数read_html
我很确定这是由于干预,但我不知道究竟发生了什么!请帮忙,我在网上找不到任何解决方案。
如果可以提供帮助,这里有一段被中断的代码:
reviews_links <- rbindlist(apply(med_links, 1, function(url) {
url2 = read_html(paste('https://otzovik.com', url, sep = ""))
data.frame(url2 %>% html_nodes("h3 a") %>% html_attr("href"), stringsAsFactors = FALSE)}),
fill = TRUE)
我也尝试重新启动R和我的电脑 - 没有帮助
已更新
显然,只是网站阻止了我的请求。通过使用延迟和不时更改用户代理解决了这个问题。