R / Python Webscrapping - 1970年日期问题

时间:2018-01-15 21:14:42

标签: python r web-scraping beautifulsoup rvest

我正在尝试网站废弃网站fairygodboss.com并且无法检索评论日期...当我在rvest包下运行以下内容时:

url<-read_html('https://fairygodboss.com/company-reviews/boston-consulting-group')
Review<-url %>% 
  html_nodes(xpath ='//p[@class="textColor6 w-700 p-b-10"]')%>%
  html_text()

我应该在2017/2016获得不同的日期,但我的所有日​​期都是1970年1月。

请你帮我确定一下这个问题。

我也尝试过使用bs4的Python,如下所示,我到处都有1970年:

import urllib
r = urllib.urlopen('https://fairygodboss.com/company-reviews/boston-consulting-group').read()

1 个答案:

答案 0 :(得分:0)

您可能需要使用包Selenium