rvest - scrape tripadvisor - 完整的评论文本

时间:2015-12-03 11:54:54

标签: r dplyr rvest

我正在使用 rvest 成功抓取 tripadvisor 的评论。

然而,我只是在进行部分评论,而完整的评论会让我的学习更有力量。

需要的是超越" MORE"。我没有编码和源代码的经验,所以对我的代码进行必要的修改是很困难的。 示例:this page

上的第二次审核
review <- reviews %>%
html_node(".entry .partial_entry") %>%
html_text()

我可以看到源代码中的差异,但不确定如何在R中反映出来。

这里有差异

enter image description here

enter image description here

感谢您的建议和帮助。

1 个答案:

答案 0 :(得分:0)

有时“MORE”只是一个隐藏的DIV标记,在使用JS点击时变得可见。在这种情况下,你的rvest代码会起作用。

但是,您所指的是一个动态页面。在这种情况下,最好是您的代码模拟Web浏览器。为此,请尝试RSelenium。如果您在网上搜索,可以使用大量文章和视频。

一切顺利!