Scrapy - 下载response.body时的不同页面内容

时间:2018-05-05 23:08:27

标签: scrapy scrapy-spider scrapy-shell

我正在尝试解析页面,例如www.page.com/results?sort=price。我用这段代码解析它:

def start_requests(self):
    start_urls = [
        "www.page.com/results?sort=price",
    ]
    for url in start_urls:
        yield scrapy.Request(url=url, callback=self.parse)

def parse(self, response):

    # some code

    next_page = "www.page.com/results?sort=price&type=12"
    yield response.follow(next_page, self.get_models)

def get_models(self, response):
    f = open('/tmp/test/file1.txt', 'w')
    f.write(response.url)
    f.write(response.body.decode('utf-8'))
    f.close()

输出文件与此代码生成的文件不同:

def start_requests(self):
    start_urls = [
        "www.page.com/results?sort=price&type=12",
    ]
    for url in start_urls:
        yield scrapy.Request(url=url, callback=self.get_models)

def get_models(self, response):
    f = open('/tmp/test/file2.txt', 'w')
    f.write(response.url)
    f.write(response.body.decode('utf-8'))
    f.close()

当我通过scrapy shell 'www.page.com/results?sort=price&type=12'下载页面时,输出与file2.txt类似。问题是,在file1.txt中,没有标记包含我需要抓取的数据。这两种抓取页面的方式有什么区别,为什么下载的文件不同?

1 个答案:

答案 0 :(得分:0)

我认为在第二种情况下你会找到错误的网址。检查您的日志以确保。我不确定response.follow是如何运作的。我没有看到任何理由在这里使用它,因为您使用的是完整的URL(不仅仅是路径)。 尝试将其更改为简单Request

def parse(self, response):

    # some code

    next_page = "www.page.com/results?sort=price&type=12"
    yield scrapy.Request(next_page, self.get_models)