我有一个独特的问题,我需要从需要凭据才能登录的网站上抓取 JS生成的数据。
使用rvest导航需要凭据的网站相对容易:
library(rvest)
pgsession <-html_session(url_login)
pgform <-html_form(pgsession)[[1]]
filled_form <- set_values(pgform,
"login" = un,
"password" = pw)
filled_form
submit_form(pgsession,filled_form)
a<-jump_to (pgsession,
"url_report")
然后使用PhantomJS执行JS以便刮掉JS生成的页面也不难 - http://flovv.github.io/Scrape-JS-Sites/
但是,我不知道如何将两者结合起来。使用PhantomJS时,您可以指定一个URL,但不能使用与RVest生成的会话相同的会话,因此只需下载登录页面 - 我无法弄清楚如何登录。
任何想法?
非常感谢