如何使用Java从cookie驱动的网站获取网页源

Question

如果网页上有常规网址，很容易获得网页来源。

以下是答案： How to get a web page's source code from Java

但有些网站，比如Sobeys。他们要求您首先输入您的位置然后您可以获得不同位置的不同传单。它似乎是为您的偏好设置cookie，然后您可以获得相同的传单内容，直到您关闭浏览器。

我的问题是，对于这种类型的网页，如何使用Java获取特定传单的网页来源（例如我想从丹佛斯多伦多的Sobeys获取劫掠者）？我无法使用https://www.sobeys.com/en/flyer，因为它似乎始终是相同的。但是如何获取传单的特定网页来源？

Answer 1

尝试使用java访问https://www.sobeys.com/en/stores/sobeys-danforth/preferred，因为它会设置您想要的Cookie，否则会返回此Cookie

_carrot-core_session=bCt5WnJadHluUWdlbEVPYkVmb3JQbDc1a2dLWHFYUWw5NlVFVUtUblpRRHJLUEEyZ1MzamN2UjVIWGlSZzBEZDlDUTRxM2JkaEpZeUdNVHh2NUFvVjVxQWM4L015Zm1kaG5wVU5nUytocGRhdzhFMGZvc0pFM090ek41OTVVTy96d2ovTmNBOEdqUDk2dmllUjZoR1BDMEF3S2VCR21SM2thMmlidW01UmIyWmNaRm5sbEZkMjNhRElmakpLd3NvUGxPUTcvdDdlZTZ2UGFWN3BucXZUNkxwWW5ENjZ1TEc1WFpmTlBIT2JsODBkNlI4VHV0S3BuZy81b1JRdytoOS0tdGFpWUIydDNRb1BCeWJPN2psbGxkQT09--b4e4aab475a9d016944bcf0e1207c561e7568b78; domain=.sobeys.com; path=/; HttpOnly

试试看这里： How to set Cookies at Http Get method using Java

抱歉，我无法再提供帮助了。