使用R rvest抓取页面上的评论数量

时间:2015-11-18 01:40:52

标签: r web-scraping rvest

我正在尝试使用R包rvest抓取一个网页,以获取文章中留下的评论数量。该页面使用disqus论坛,disqus动态返回评论数。

例如对于此webpage,标题下方有一行显示评论数。

enter image description here

问题是,这似乎是在页面加载开始时由disqus动态更新的。如果您在刚刚打开时密切关注该页面,它将显示“0条评论”,但很快就会更新为“10条评论”(或者当您看到此页面时更多)。

当我检查元素时,它是一个带有“entry-comment”类的span。当我使用rvest来抓取它时,我得到的值为“0 comments”,即使在浏览器的元素检查器中它显示“10条评论”。

有没有办法用rvest来解决这个问题?我可以想象一个RSelenium的解决方案,但我想出于各种原因避免这种情况。

0 个答案:

没有答案