我正在尝试抓取https://www.mywebsite.com.sg,但是以下命令返回400错误的请求错误:
scrapy view https://www.mywebsite.com.sg
如果我使用:
data=requests.get("https://www.mywebsite.com.sg")
我可以在data.text
和data.content
中获得网页的内容。
但是我的脚本中的所有xpath操作都不能作为data.xpath
和data.content
都为空。
网页上似乎没有任何保护,因为postman
软件可以通过简单的HTTP GET查询获得结果。
如何使响应对象正确填充?