Question

我正在尝试使用python的scrapy制作网络抓取工具，以提取搜索时Google在右侧显示的信息

我使用的URL是：https://www.google.com/search?q=la%20cuarta

在另一个问题中，我问了同样的问题（question），有人建议我将response.body写入文件，但是我得到的是空文件，当我尝试使用其他URL时不会发生此情况< / p>

这是我的代码：

import scrapy

class google1(scrapy.Spider):
    name = 'google1'

    def start_requests(self):
        urls = ['http://quotes.toscrape.com/page/1/',
        'http://quotes.toscrape.com/page/2/',
        'https://www.google.com/search?q=la%20cuarta',
        'https://docs.scrapy.org/en/latest/intro/tutorial.html']  
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'page-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

它甚至没有从Google搜索中写入文件，但是在刮擦的外壳中response.body不为空

Answer 1

好的，我测试了您的代码，它可以正常工作，即蜘蛛会下载所有页面，包括googel页面。您的问题可能出在设置中，请将其添加到设置中：

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:39.0) Gecko/20100101 Firefox/39.0'
ROBOTSTXT_OBEY = False

response.body使用python中的scrapy返回一个空文件

1 个答案: