如何正确设置cookie以使用httr获取URL内容

时间:2014-10-18 16:17:08

标签: r cookies httr

我需要从使用Cookie保护的网站下载信息。我手动传递此保护,然后将Cookie插入httr

这是类似的主题,但它并没有解决我的问题:(Copying cookie for httr

library(httr)
url<-"http://smida.gov.ua/db/emitent/year/xml/showform/32153/125/templ"

cook<-"_SMIDA=9117a9eb136353bd6956651bd59acd37; __utmt=1; __utma=29983421.1729484844.1413489369.1413625619.1413627797.3; __utmb=29983421.7.10.1413627797; __utmc=29983421; __utmz=29983421.1413489369.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)"

response <- GET(url, config(cookie= cook))

content(x = response,as = 'text', encoding = "UTF-8")   

因此,当我使用内容时,它会返回我的信息,我没有登录(因为我没有cookie)

我该如何解决这个问题?

测试凭据是登录:mytest2,传递:qwerty12

1 个答案:

答案 0 :(得分:3)

这将set_cookiesGET&amp; httr

GET("http://smida.gov.ua/db/emitent/year/xml/showform/32153/125/templ", 
    set_cookies(`_SMIDA` = "7cf9ea4bfadb60bbd0950e2f8f4c279d",
                `__utma` = "29983421.138599299.1413649536.1413649536.1413649536.1",
                `__utmb` = "29983421.5.10.1413649536",
                `__utmc` = "29983421",
                `__utmt` = "1",
                `__utmz` = "29983421.1413649536.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)"))

这对我有用,至少我认为它确实如此,因为我无法阅读该语言。表格返回时具有相同的结构,没有提示登录。

不幸的是,登录时的验证码会阻止使用Rselenium(或其他类似的爬行程序包),因此您必须继续手动抓取这些Cookie(或使用实用程序从会话中提取它们)。

最后,您可能需要认真考虑更改这些凭据,现在: - )


编辑: @VadymB我发现代码没有工作直到我们重新启动了RStudio。您的里程可能会有所不同。