如何在R中使用不变的网址抓取多个页面？

Question

那是url

我的目标是删除评论部分。但是网址不会改变。代码如下：

url <- "https://www.n11.com/magaza/thbilisim/magaza-yorumlari"

getreviews <- function(master_df){
  as.data.frame(
    read_html(master_df) %>% 
      html_nodes("div.commentContainer p") %>% 
      html_text()
  )
}

reviews <- url %>% 
  map(getreviews) %>%  
  bind_rows()

如何使用相同的网址抓取多个页面？ 预先感谢。

Answer 1

例如，如果您使用的是Chrome浏览器，则可以通过转到Chrome开发工具（按F12）并查看“网络”窗格来找出每页请求的URL。

在上面的示例中，您将看到对于每个页面，请求的URL是https://www.n11.com/component/render/sellerShopFeedbacks?page=page number&sellerId=2145005，其中page number是1，2，3，...

当您单击原始URL底部的相关页码时，“网络”选项卡上会弹出请求的URL。

因此，您只需要增加R代码中的页码即可查看后续页面。