我正在尝试使用R包rvest
抓取一个网页,以获取文章中留下的评论数量。该页面使用disqus论坛,disqus动态返回评论数。
例如对于此webpage,标题下方有一行显示评论数。
问题是,这似乎是在页面加载开始时由disqus动态更新的。如果您在刚刚打开时密切关注该页面,它将显示“0条评论”,但很快就会更新为“10条评论”(或者当您看到此页面时更多)。
当我检查元素时,它是一个带有“entry-comment”类的span。当我使用rvest
来抓取它时,我得到的值为“0 comments”,即使在浏览器的元素检查器中它显示“10条评论”。
有没有办法用rvest
来解决这个问题?我可以想象一个RSelenium
的解决方案,但我想出于各种原因避免这种情况。