如何使用scrapy的python请求？

Question

我试图使用requests来获取页面，然后将响应对象传递给解析器，但是我遇到了一个问题：

def start_requests(self):
    yield self.parse(requests.get(url))
def parse(self, response):
  #pass

  

builtins.AttributeError：“发电机”对象没有属性“ dont_filter”

Answer 1

您首先需要下载页面的响应，然后将该字符串转换为HtmlResponse对象

from scrapy.http import HtmlResponse
resp = requests.get(url)

response = HtmlResponse(url="", body=resp.text, encoding='utf-8')