刮擦视图和requests.get区别为“ https://www.mywebsite.com.sg”

时间:2018-11-13 15:23:43

标签: scrapy python-requests response

我正在尝试抓取https://www.mywebsite.com.sg,但是以下命令返回400错误的请求错误:

scrapy view https://www.mywebsite.com.sg

如果我使用:

data=requests.get("https://www.mywebsite.com.sg")

我可以在data.textdata.content中获得网页的内容。

但是我的脚本中的所有xpath操作都不能作为data.xpathdata.content都为空。

网页上似乎没有任何保护,因为postman软件可以通过简单的HTTP GET查询获得结果。

如何使响应对象正确填充?

0 个答案:

没有答案