如何向加载javascript的页面发出请求

时间:2019-05-13 12:59:26

标签: javascript html python-3.x web-scraping scrapy

我正在尝试向这两个页面发出请求:

url1 = https://antonioli.eu/it/IT/men/t/categories/shoes/sneakers

url2 = https://www.off---white.com/en/IT/men/t/seasons/ss2019

我声明我不想使用硒

我尝试了库请求(也包括会话),带有飞溅的 ,来自request_html的 HTMLSession (试图呈现html), dryscrape urllib.request ,但这些方法都没有找到解决方法。

还有另一种获取页面结果的方法吗?

对于这些“请求”中的每一个,我都得到了以下常见答复:


<!DOCTYPE html>
<html>
<head>
  <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
  <meta http-equiv="refresh" content="10;URL=/ciez2a">
</head>
<body>
  <script type="text/javascript">
function md5cycle(e,t)

....
....
....

    (new Fingerprint2).get(function(e,t){
      salt="768539096";
      document.cookie="ipp_sign="+e+"_"+salt+"_"+md5(e+salt)+"; expires=Tue, 31 Dec 2030 23:59:59 GMT; path=/;";
      ipp.setCookie();
      location.href="https://www.off---white.com/en/IT/men/t/seasons/ss2019?";
    })
  </script>
</body>
</html>

我知道这些页面使用cookie来调度响应,但是我不知道如何生成假cookie。

有人可以帮助我吗?

0 个答案:

没有答案